Transferência de Conhecimento em Aprendizado Multimodal para Reconhecimento de Emoções em Vídeos

• Processo: 22/14903-1
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Vigência (Início): 01 de fevereiro de 2023
• Vigência (Término): 31 de janeiro de 2024
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Ricardo Marcondes Marcacini
• Beneficiário: Gabriel Natal Coutinho
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Assunto(s): Aprendizado computacional Aprendizagem profunda Inteligência artificial
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Aprendizado Multimodal | Aprendizado profundo | Inteligência Artificial

Resumo

O reconhecimento automático de emoções é uma tarefa relevante para diversas finalidades, como pesquisas de opiniões e identificação de discursos de ódio. Sabemos que uma emoção que sentimos tem impacto em relações interpessoais e interações sociais, portanto é possível usar a análise sentimental com o propósito de também melhorar a interação humano-máquina. Embora a tarefa de reconhecimento de emoções tenha sido frequentemente tratada de forma unimodal, identificar emoção depende de múltiplos estímulos, como na identifica-ção de expressões faciais e sonoridades da voz. Nesse contexto, o aprendizado multimodal é a área da ciência que estuda a relação entre dados de diferentes modalidades. O objetivo deste projeto de iniciação científica é investigar transferência de aprendizado para reconhecimento de emoções em vídeos. Em relação àtransferência de aprendizado, vale destacar que recentemente diferentes modelos pré-treinados para imagens, textos e áudio têm sido disponibilizados. Enquanto a maioria dos métodos existentes focam em gerar novos modelos pré-treinados unimodais ou multi-modais, que possui um alto custo computacional, neste projeto levantamos a seguinte questão: como aproveitar diferentes modelos pré-treinados unimodais para obter um novo e unificado espaço de características multimodal para reco- nhecimento de emoções em vídeos? Responder talquestão permitirá não apenas reduzir o custo computacional de aprendizado multimodal, mas avançar em tarefas de aprendizado de transferência e reuso de modelos pré-treinados em diferentes conjuntos de dados.