SLAM 3D Multiagente Dinâmico de Vocabulário Aberto e Compreensão de Cena

• Processo: 25/02594-2
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de abril de 2025
• Data de Término da vigência: 31 de março de 2028
• Área de conhecimento: Engenharias - Engenharia Elétrica
• Pesquisador responsável: Eric Rohmer
• Beneficiário: César Bastos da Silva
• Instituição Sede: Faculdade de Engenharia Elétrica e de Computação (FEEC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Empresa: Universidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de Computação (FEEC)
• Vinculado ao auxílio: 21/00199-8 - Redes e serviços inteligentes rumo 2030 (SMARTNESS), AP.PCPE
• Assunto(s): Mapeamento Robôs móveis Robótica
• Palavra(s)-Chave do Pesquisador: Mapeamento | multiagente | Robótica móvel | Slam | Vocabulário aberto | Robótica

Resumo

Esta pesquisa propõe uma estrutura de SLAM 3D dinâmico multiagente de vocabulárioaberto que aproveita modelos avançados de visão-linguagem (VLMs) e grandes modelos delinguagem (LLMs) para aprimorar a compreensão da cena robótica e o planejamento detarefas em ambientes dinâmicos e não estruturados. Ao integrar a segmentação 2D devocabulário aberto com dados de profundidade e multissensores, o sistema constrói umgrafo hierárquico da cena 3D para agrupamento preciso de objetos, segmentação deambientes e interpretação semântica. As principais contribuições incluem a associaçãodinâmica de dados para filtrar objetos não estáticos, melhorando a precisão e a eficiênciado SLAM, além de um método robusto de fusão de dados para aprimorar a precisão domapeamento. Essa abordagem flexível visa permitir a comunicação em linguagem natural ereduzir a deriva de localização, tornando-a adequada para diversas aplicações em robóticaassistiva e industrial.