TTS Multimodal Expressivo para Robôs

• Processo: 25/09875-7
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Mestrado
• Data de Início da vigência: 17 de outubro de 2025
• Data de Término da vigência: 21 de março de 2026
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Paula Dornhofer Paro Costa
• Beneficiário: Pedro Rodrigues Corrêa
• Supervisor: Thomas Hueber
• Instituição Sede: Faculdade de Engenharia Elétrica e de Computação (FEEC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Instituição Anfitriã: Université Grenoble Alpes (UGA), França
• Vinculado à bolsa: 24/13098-3 - FACE: Animação Facial com Emoções Contextuais Dinâmicas, BP.MS
• Assunto(s): Aprendizagem profunda Emoções Face Inteligência artificial Robótica social Voz
• Palavra(s)-Chave do Pesquisador: Aprendizado profundo | Emoções | face | Inteligência Artificial | Robótica Social | voz | Inteligência Artificial Generativa

Resumo

Este projeto tem como objetivo aprimorar a interação humano-robô por meio do desenvolvimento de um pipeline multimodal expressivo de conversão de texto em fala (TTS), capaz de sincronizar uma fala com nuances emocionais às animações faciais em plataformas robóticas. Com base na pesquisa de mestrado em andamento financiada pela FAPESP (FACE), propomos a adaptação e extensão da arquitetura base FastLips para prever explicitamente as Unidades de Ação Facial (Action Units - AUs) compatíveis com o robô Furhat. Etiquetas verbais de emoção (Emotags) serão integradas ao sistema para controlar o estilo emocional tanto da fala sintetizada quanto das expressões faciais. As saídas audiovisuais serão avaliadas por meio de estudos com usuários em ambientes online (simulados) e offline (com o robô físico), considerando critérios como expressividade, realismo e qualidade da interação. Além disso, modelos alternativos de TTS serão explorados para ampliar as capacidades de geração multimodal. O projeto conta com a colaboração da equipe CRISSP do GIPSA-lab, oferecendo uma oportunidade única de transição de avatares baseados em tela para agentes sociais fisicamente incorporados, avançando a pesquisa em comunicação humano-robô expressiva e sincronizada. (AU)