Interpretação de imagens e de modelos de aprendizado profundos

• Processo: 17/25835-9
• Linha de fomento: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
• Vigência: 01 de setembro de 2018 - 31 de agosto de 2022
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Convênio/Acordo: Microsoft Research
• Pesquisador responsável: Nina Sumiko Tomita Hirata
• Beneficiário: Nina Sumiko Tomita Hirata
• Instituição-sede: Instituto de Matemática e Estatística (IME). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Empresa: MICROSOFT INFORMATICA LTDA
• Município: São Paulo
• Pesq. associados: Alexandru-Cristian Telea ; Frank Dennis Julca Aguilar ; Harold Mouchere ; Roberto Hirata Junior
• Bolsa(s) vinculada(s): 20/02891-3 - Segmentação de imagens com redes neurais totalmente convolucionais, BP.IC; 19/17873-3 - Suporte técnico ao projeto Interpretação de Imagens e de Modelos de Aprendizado Profundos, BP.TT; 18/25671-9 - Processamento e análise de imagens astronômicas usando modelos convolucionais profundos, BP.MS
• Assunto(s): Reconhecimento de imagem Aprendizado computacional Visão computacional Modelos de aprendizagem Visualização Informação

Resumo

Um objetivo central na área de Visão Computacional é a interpretação de imagens. Em geral, aspectos de aparência são usados para detectar os componentes de interesse e então as relações espaciais e hierárquicas entre eles são usadas para "descrever" o conteúdo de uma imagem no nível semântico de interesse. Os modelos profundos atuais atingiram um estágio de evolução tal que são capazes de aprender e transferir características de baixo nível de um domínio para outro. No entanto, informações estruturais das imagens tais como as relações espaciais e hierárquicas entre os componentes são ainda modeladas explicitamente usando detalhes específicos de casos. Isto faz com que os modelos sejam mais difíceis de serem interpretados, útil apenas para poucas aplicações específicas, e as implicações sobre o esforço no preparo de dados de treinamento ainda não é claro. O objetivo deste projeto é o desenvolvimento de modelos profundos "structure-aware-semantics-unaware", com habilidade de aprender e codificar informações estruturais independentemente do nível semântico dos componentes. Isto impactaria o entendimento desses modelos (uma vez que as informações estruturais estariam mais explicitamente representadas) e os requisitos relativos aos dados de treinamento (uma vez que seria possível a transferência). Estão planejados estudos teóricos, o desenvolvimento de estratégias de visualização e de novos modelos profundos, e experimentação em relação a diversas tarefas de visão computacional. (AU)