Geração Sintética de IMU a partir de Vídeos para Prototipagem Rápida em Interação Humano-Robô

• Processo: 25/21964-5
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Iniciação Científica
• Data de Início da vigência: 01 de janeiro de 2026
• Data de Término da vigência: 30 de abril de 2026
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Paula Dornhofer Paro Costa
• Beneficiário: Henrique Parede de Souza
• Supervisor: Andrea Bonarini
• Instituição Sede: Faculdade de Engenharia Elétrica e de Computação (FEEC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Instituição Anfitriã: Politecnico di Milano, Itália
• Vinculado à bolsa: 24/23473-6 - Simulação de Usuário de Dispositivos Móveis com Síntese de Dados Inerciais, BP.IC
• Palavra(s)-Chave do Pesquisador: Datasets Multimodais | Geração de Dados Inerciais | Interação Humano-Robô (HRI) | Modelos Vídeo para IMU | Reconhecimento de Atividades Humanas (HAR) | Unidade de Medição Inercial (IMU) | Modelos de Síntese de Dados

Resumo

A Interação Humano-Robô (HRI) requer robôs capazes de compreender e se adaptar ao comportamento humano em contextos dinâmicos e socialmente ricos. Embora os conjuntos de dados de vídeos contendo atividades humanas rotuladas forneçam uma referência valiosa para o reconhecimento de atividades humanas (HAR) em ambientes naturais, a falta de dados de sensores inerciais (IMU) limita a robustez multimodal. Com base na pesquisa de Iniciação Científica da FAPESP em andamento sobre síntese de dados inerciais, este projeto BEPE propõe um protótipo de gerador de sinais IMU sintéticos condicionados pelos rótulos de atividade dos conjuntos de dados de vídeo do AIRLab. O gerador será avaliado em cenários do AIRLab, como Robogames, PlayBot4All ou Theatrebot, usando métricas quantitativas e medidas qualitativas. O projeto aproveita a colaboração com o AIRLab, oferecendo uma oportunidade para fortalecer a metodologia da Iniciação Científica brasileira em andamento, validando a geração sintética de IMU em contextos reais de HRI. Ao mesmo tempo, contribui para os esforços do AIRLab no desenvolvimento de robôs interativos multimodais, demonstrando a viabilidade e os benefícios da integração de dados sintéticos de IMU em datasets existentes de HAR baseados em vídeo.