Desenvolvimento de métodos para descrição de imagens: um arcabouço baseado em visão computacional e processamento de linguagem natural

• Processo: 22/12204-9
• Modalidade de apoio: Bolsas no Brasil - Pós-Doutorado
• Data de Início da vigência: 01 de dezembro de 2022
• Data de Término da vigência: 31 de março de 2023
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Roberto Marcondes Cesar Junior
• Beneficiário: Rafael Jeferson Pezzuto Damaceno
• Instituição Sede: Instituto de Matemática e Estatística (IME). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Vinculado ao auxílio: 15/22308-2 - Representações intermediárias em Ciência Computacional para descoberta de conhecimento, AP.TEM
• Assunto(s): Processamento de imagens Processamento de linguagem natural Visão computacional
• Palavra(s)-Chave do Pesquisador: Processamento de imagens | Processamento de Linguagem Natural | Processamento de Textos | Visão Computacional | Visão computacional

Resumo

A descrição da cenas é um processo que visa associar uma ou mais frases textuais a uma imagem. No que diz respeito à infraestrutura urbana, esta é uma técnica que permite a descrição de cenários urbanos, como a caracterização das calçadas em termos de tamanho, a identificação de objetos e a relação posicional que eles têm entre si, entre outros. Nos últimos anos, avanços importantes foram alcançados nessa tarefa por meio do uso de técnicas de redes neurais profundas. Esses avanços são facilitados pela maior disponibilidade de GPUs e grandes conjuntos de dados. Além disso, os avanços alcançados pelas redes neurais foram obtidos principalmente em modalidades individuais como visão, linguagem ou som. Em muitos casos, problemas do mundo real possuem componentes que estão embutidos em mais de uma modalidade - como podem ser os cenários de Informática Urbana. Nesse sentido, este projeto visa desenvolver métodos computacionais para melhorar os processos de descrição de cenas urbanas. Como objeto de estudo, pretendemos explorar imagens de sensoriamento remoto e de nível de rua. O projeto envolverá o uso de técnicas de visão computacional associadas ao processamento de linguagem natural. A ideia principal é usar o framework da linguagem textual para melhorar as descrições geradas.