Arquitetura Cognitiva Modular para Coordenação Semântica, Distribuída e Afetiva em IoRT

• Processo: 25/11758-9
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de agosto de 2025
• Data de Término da vigência: 31 de julho de 2029
• Área de conhecimento: Engenharias - Engenharia Elétrica - Eletrônica Industrial, Sistemas e Controles Eletrônicos
• Pesquisador responsável: Eric Rohmer
• Beneficiário: Ervin Alain Bolivar Huayhua
• Instituição Sede: Faculdade de Engenharia Elétrica e de Computação (FEEC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Empresa: Universidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de Computação (FEEC)
• Vinculado ao auxílio: 21/00199-8 - Redes e serviços inteligentes rumo 2030 (SMARTNESS), AP.PCPE
• Assunto(s): Engenharia de computação
• Palavra(s)-Chave do Pesquisador: Affective Human-Robot Interaction | Egocentric Perception | Hierarchical Planning | Multimodal Semantic Reasoning | Engenharia de Computação

Resumo

A coordenação de sistemas robóticos heterogêneos em ambientes dinâmicos e centrados no ser humano exige soluções cognitivas capazes de integrar percepção multimodal, raciocínio semântico e adaptação afetiva. Esta pesquisa propõe uma arquitetura que combina modelos de linguagem e visão (LLMs e VLMs) com percepção egocêntrica, permitindo que robôs compreendam comandos espaciais, planejem ações em múltiplos níveis e se ajustem ao estado emocional dos usuários.Embora os modelos simbólicos tradicionais e as abordagens baseadas apenas em LLMs tenham avançado no planejamento de tarefas, eles ainda enfrentam dificuldades em situações do mundo real, especialmente na vinculação entre linguagem, percepção visual e controle motor. Além disso, poucos sistemas atuais consideram a personalização emocional como parte do ciclo de interação e tomada de decisão.A proposta desenvolve seis módulos interligados, desde o mapeamento semântico da visão em primeira pessoa até o controle distribuído entre agentes físicos e IoT, passando por estratégias de planejamento hierárquico com ReAct e RAG, e finalizando com modelagem afetiva, avaliação comparativa e implantação em dispositivos de borda. A arquitetura será validada em simulações e ambientes reais com robôs como Pepper e Kinova, usando protocolos abertos, benchmarks quantitativos e estudos com usuários. Ao integrar linguagem, percepção, emoção e controle em um único pipeline cognitivo, o projeto visa contribuir para a próxima geração de robôs inteligentes, sensíveis ao contexto e preparados para operar de forma explicável e adaptável em cenários reais.