Representações unificadas considerando atributos visuais e de semântica textual em tarefas de reconhecimento em imagens

• Processo: 18/23392-5
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de março de 2019
• Data de Término da vigência: 29 de fevereiro de 2020
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Moacir Antonelli Ponti
• Beneficiário: Juliana de Mello Crivelli
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Vinculado ao auxílio: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria, AP.CEPID
• Assunto(s): Redes neurais convolucionais Semântica Atributos visuais (computação gráfica) Visão computacional Processamento de imagens Aprendizado computacional
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Processamento de imagens | Visão computacional

Resumo

O sistema cognitivo-visual humano é capaz de abstrair conceitos visuais a partir de múltiplos elementos em uma cena. Por exemplo, é possível categorizar uma fotografia com pessoas no tema trabalho ou férias com base em atributos visuais como as roupas com as quais as pessoas estão vestidas, e os objetos na cena. Do ponto de vista de visão computacional e reconhecimento de padrões, essas representações poderiam ser identificadas como a mesma categoria. Assim, as características visuais abstratas comumente extraídas por métodos de visão computacional são comumente insuficientes, sendo necessário complementar com informação semântica. Nesse projeto serão investigadas informações semânticas complementares às características visuais abstratas. Em particular, utilizaremos características obtidas por redes neurais convolucionais como representações visuais abstratas, e as complementaremos com informação categórica textual a partir de métodos de reconhecimento de objetos ou anotações. Como resultado, primeiramente pretendemos entender o ganho nas representações quando as características são combinadas, e em segundo lugar como estender os métodos para traduzir características visuais em textual e vice-versa. Aplicações possíveis incluem a descrição de cenas, detecção de sub-categorias visuais, detecção de anomalias, entre outros.