Segmentação espacial de instâncias a partir de câmera monocular utilizando redes neurais convolutivas

• Processo: 19/03366-2
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de junho de 2019
• Data de Término da vigência: 31 de janeiro de 2022
• Área de conhecimento: Engenharias - Engenharia Elétrica
• Pesquisador responsável: Denis Fernando Wolf
• Beneficiário: Angelica Tiemi Mizuno Nakamura
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Vinculado ao auxílio: 14/50851-0 - INCT 2014: Instituto Nacional de Ciência e Tecnologia para Sistemas Autônomos Cooperativos Aplicados em Segurança e Meio Ambiente, AP.TEM
• Assunto(s): Robôs móveis Redes neurais convolucionais Veículos inteligentes Segmentação (processamento de imagem) Aprendizagem
• Palavra(s)-Chave do Pesquisador: Aprendizado multi-tarefa | Câmera monocular | Estimativa de Profundidade | Redes neurais convolutivas | Segmentação de Instâncias | Veículos Inteligentes | Robótica Móvel

Resumo

Os sistemas assistivos ao motorista para automação parcial ou total do veículo são sistemas que auxiliam na tomada de decisão e têm a capacidade de exercer um importante papel na segurança e eficiência no tráfego de veículos. Tais sistemas exigem um método robusto de percepção que seja capaz de lidar com cenários urbanos complexos e problemas de oclusão, de modo que o veículo compreenda o ambiente em que está trafegando. Em vista disso, o presente projeto de doutorado propõe um método baseado em redes neurais que realiza a segmentação espacial das instâncias, de forma que seja realizado simultaneamente o aprendizado da estimativa de informações de profundidade a partir de imagens monoculares e a segmentação de instâncias. A extração de características relevantes para o aprendizado de ambas tarefas será realizada utilizando as redes neurais convolutivas. Para possibilitar a classificação de cada pixel da imagem, a rede será projetada com a arquitetura encoder-decoder, e o aprendizado simultâneo das tarefas será dada pela divisão da arquitetura em diferentes decoders. Para tanto, serão estudados dois objetos de pesquisa, que são o conjunto de funções de perda que proporciona a melhor convergência durante o treinamento e a definição de uma arquitetura que favoreça o compartilhamento de informações entre as tarefas durante o processo de aprendizagem. Para validação da proposta, serão realizados a comparação de desempenho em benchmarks da área e experimentos reais com a plataforma CaRINA II, um projeto de veículo autônomo em desenvolvimento pelo Laboratório de Robótica Móvel em conjunto com o Laboratório de Sistemas Inteligentes da USP de São Carlos. Este projeto faz parte do projeto temático apoiado pela FAPESP, processo n. 2014/50851-0 "Instituto Nacional de Ciência e Tecnologia para sistemas autônomos cooperativos aplicados em segurança e meio ambiente". (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

MIZUNO NAKAMURA, ANGELICA TIEMI; GRASSI JR, VALDIR; WOLF, DENIS FERNANDO. Leveraging convergence behavior to balance conflicting tasks in multi-task learning. Neurocomputing, v. 511, p. 11-pg., 2022-09-13. (14/50851-0, 19/03366-2)

HORITA, LUIZ R. T.; NAKAMURA, ANGELICA T. M.; WOLF, DENIS F.; GRASSI JUNIOR, VALDIR; IEEE. Improving multi-goal and target-driven reinforcement learning with supervised auxiliary task. 2021 20TH INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS (ICAR), v. N/A, p. 6-pg., 2021-01-01. (19/03366-2, 14/50851-0)

NAKAMURA, ANGELICA TIEMI MIZUNO; GRASSI JR, VALDIR; WOLF, DENIS FERNANDO. An effective combination of loss gradients for multi-task learning applied on instance segmentation and depth estimation. ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE, v. 100, APR 2021. (19/03366-2)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

NAKAMURA, Angelica Tiemi Mizuno. Aproveitando o comportamento de convergência para equilibrar tarefas conflitantes no aprendizado de múltiplas tarefas. 2022. Tese de Doutorado - Universidade de São Paulo (USP). Instituto de Ciências Matemáticas e de Computação (ICMC/SB) São Carlos.