Uma abordagem para segmentação semântica explorando a multimodalidade e temporalidade de características de vídeos digitais

Resumo

Em um cenário de intensa geração e disseminação de dados multimídia, é observada uma crescente demanda de tecnologia para processamento, compressão e recuperação destes dados, especialmente, vídeos digitais. Precisão e eficiência são fatores essenciais para viabilizar métodos e aplicações de armazenamento e gerenciamento de grandes volumes de dados de vídeos. Vários sistemas de Content-based Video Retrieval - (CBVR) foram propostos, entretanto, o suporte a acesso a vídeos no nível semântico persiste como um grande desafio devido ao problema do gap semântico. Tais sistemas geralmente utilizam como base a segmentação dos vídeos como unidade para indexação e recuperação, portanto a qualidade da segmentação é diretamente refletida na performance destes sistemas. O uso de características multimodais, de natureza visual, de movimento e de áudio, por exemplo, quando analisadas em conjunto por métodos de busca de padrões em séries temporais podem proporcionar ganhos significativos sobre a representatividade destas características que são altamente dependentes do conteúdo semântico dos dados. Este projeto tem como principal objetivo desenvolver algoritmos e métodos para sumarização e segmentação de vídeos, de modo a remover segmentos ruidosos e irrelevantes e obter uma representação com conteúdo mais representativo do contexto semântico do vídeo, por meio da exploração temporal de associação entre características de diferentes modalidades, aprimorando sua recuperação por conteúdo. As contribuições do projeto serão avaliadas no domínio de filmes e séries de televisão no contexto de sistemas de recuperação de vídeos baseada em conteúdo, além de dados obtidos via Crowdsourcing pelo projeto RESCUER, para detecção de incidentes em situações de emergências. (AU)