Desenvolvimento de métodos para descrição de imagens: um arcabouço baseado em visão computacional e processamento de linguagem natural

Resumo

A descrição da cenas é um processo que visa associar uma ou mais frases textuais a uma imagem. No que diz respeito à infraestrutura urbana, esta é uma técnica que permite a descrição de cenários urbanos, como a caracterização das calçadas em termos de tamanho, a identificação de objetos e a relação posicional que eles têm entre si, entre outros. Nos últimos anos, avanços importantes foram alcançados nessa tarefa por meio do uso de técnicas de redes neurais profundas. Esses avanços são facilitados pela maior disponibilidade de GPUs e grandes conjuntos de dados. Além disso, os avanços alcançados pelas redes neurais foram obtidos principalmente em modalidades individuais como visão, linguagem ou som. Em muitos casos, problemas do mundo real possuem componentes que estão embutidos em mais de uma modalidade - como podem ser os cenários de Informática Urbana. Nesse sentido, este projeto visa desenvolver métodos computacionais para melhorar os processos de descrição de cenas urbanas. Como objeto de estudo, pretendemos explorar imagens de sensoriamento remoto e de nível de rua. O projeto envolverá o uso de técnicas de visão computacional associadas ao processamento de linguagem natural. A ideia principal é usar o framework da linguagem textual para melhorar as descrições geradas.