Transferência de Conhecimento em Aprendizado Multimodal para Reconhecimento de Emoções em Vídeos

Resumo

O reconhecimento automático de emoções é uma tarefa relevante para diversas finalidades, como pesquisas de opiniões e identificação de discursos de ódio. Sabemos que uma emoção que sentimos tem impacto em relações interpessoais e interações sociais, portanto é possível usar a análise sentimental com o propósito de também melhorar a interação humano-máquina. Embora a tarefa de reconhecimento de emoções tenha sido frequentemente tratada de forma unimodal, identificar emoção depende de múltiplos estímulos, como na identifica-ção de expressões faciais e sonoridades da voz. Nesse contexto, o aprendizado multimodal é a área da ciência que estuda a relação entre dados de diferentes modalidades. O objetivo deste projeto de iniciação científica é investigar transferência de aprendizado para reconhecimento de emoções em vídeos. Em relação àtransferência de aprendizado, vale destacar que recentemente diferentes modelos pré-treinados para imagens, textos e áudio têm sido disponibilizados. Enquanto a maioria dos métodos existentes focam em gerar novos modelos pré-treinados unimodais ou multi-modais, que possui um alto custo computacional, neste projeto levantamos a seguinte questão: como aproveitar diferentes modelos pré-treinados unimodais para obter um novo e unificado espaço de características multimodal para reco- nhecimento de emoções em vídeos? Responder talquestão permitirá não apenas reduzir o custo computacional de aprendizado multimodal, mas avançar em tarefas de aprendizado de transferência e reuso de modelos pré-treinados em diferentes conjuntos de dados.