Busca avançada
Ano de início
Entree

Representações unificadas considerando atributos visuais e de semântica textual em tarefas de reconhecimento em imagens

Processo: 18/23392-5
Linha de fomento:Bolsas no Brasil - Iniciação Científica
Vigência (Início): 01 de março de 2019
Vigência (Término): 29 de fevereiro de 2020
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
Pesquisador responsável:Moacir Antonelli Ponti
Beneficiário:Juliana de Mello Crivelli
Instituição-sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
Vinculado ao auxílio:13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria, AP.CEPID
Assunto(s):Redes neurais convolucionais   Semântica   Atributos visuais (computação gráfica)   Visão computacional   Processamento de imagens   Aprendizado computacional

Resumo

O sistema cognitivo-visual humano é capaz de abstrair conceitos visuais a partir de múltiplos elementos em uma cena. Por exemplo, é possível categorizar uma fotografia com pessoas no tema trabalho ou férias com base em atributos visuais como as roupas com as quais as pessoas estão vestidas, e os objetos na cena. Do ponto de vista de visão computacional e reconhecimento de padrões, essas representações poderiam ser identificadas como a mesma categoria. Assim, as características visuais abstratas comumente extraídas por métodos de visão computacional são comumente insuficientes, sendo necessário complementar com informação semântica. Nesse projeto serão investigadas informações semânticas complementares às características visuais abstratas. Em particular, utilizaremos características obtidas por redes neurais convolucionais como representações visuais abstratas, e as complementaremos com informação categórica textual a partir de métodos de reconhecimento de objetos ou anotações. Como resultado, primeiramente pretendemos entender o ganho nas representações quando as características são combinadas, e em segundo lugar como estender os métodos para traduzir características visuais em textual e vice-versa. Aplicações possíveis incluem a descrição de cenas, detecção de sub-categorias visuais, detecção de anomalias, entre outros.