Fusão orientada por LiDAR e Visão: o uso da rede neural WayFAST para aprimorar a representação de visão de pássaro

• Processo: 24/00519-0
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Iniciação Científica
• Data de Início da vigência: 21 de abril de 2024
• Data de Término da vigência: 16 de agosto de 2024
• Área de conhecimento: Engenharias - Engenharia Mecânica
• Pesquisador responsável: Marcelo Becker
• Beneficiário: Gianluca Capezzuto Sardinha
• Supervisor: Girish Chowdhary
• Instituição Sede: Escola de Engenharia de São Carlos (EESC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Instituição Anfitriã: University of Illinois at Urbana-Champaign, Estados Unidos
• Vinculado à bolsa: 22/08433-2 - Aplicação de métodos ablativos em redes neurais para navegação robótica em campos acidentados, BP.IC
• Assunto(s): Agricultura Redes neurais Robótica Segmentação semântica
• Palavra(s)-Chave do Pesquisador: Agricultura | Instrumentação e Mecatrônica | percepção robótica | Redes neurais | Robôs móveis autônomos | Robótica | Segmentação Semântica | Robótica e Mecatrônica

Resumo

Os robôs são essenciais para a execução de tarefas exigentes em ambientes externos, como agricultura, construção e exploração remota. No entanto, sua capacidade de navegar em terrenos desafiadores, conhecida como traversabilidade, representa um desafio significativo. Métodos tradicionais frequentemente geram falsos positivos, especialmente em cenários que envolvem gramados altos, áreas lamacentas e superfícies nevadas. Superar esses desafios requer uma fusão eficaz de informações. Este projeto de pesquisa visa aprimorar a representação de visão de pássaro do sistema neural WayFAST por meio da fusão de dados orientados por LiDAR e visão. O WayFAST, um sistema de previsão de traversabilidade auto-supervisionado, é projetado para a navegação autônoma de robôs com rodas em ambientes externos não estruturados. O projeto enfatiza a fusão abrangente de dados provenientes de câmeras e sensores LiDAR, utilizando uma perspectiva de visão de pássaro. A implementação do pipeline proposto para a fusão de LiDAR e câmera gerará um mapa de traversabilidade. Este mapa é uma ferramenta vital para o sistema de controle do robô, permitindo a navegação segura pela identificação de rotas locais adequadas e evitando potenciais riscos em seu ambiente.