Interpretação de imagens e de modelos de aprendizado profundos

• Processo: 17/25835-9
• Modalidade de apoio: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
• Vigência: 01 de setembro de 2018 - 31 de agosto de 2022
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Convênio/Acordo: Microsoft Research
• Pesquisador responsável: Nina Sumiko Tomita Hirata
• Beneficiário: Nina Sumiko Tomita Hirata
• Instituição Sede: Instituto de Matemática e Estatística (IME). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Empresa Sede: Microsoft Informática Ltda
• Município: São Paulo
• Pesquisadores associados: Alexandru-Cristian Telea ; Frank Dennis Julca Aguilar ; Harold Mouchere ; Roberto Hirata Junior
• Bolsa(s) vinculada(s): 21/02382-4 - Análise de imagens CT usando modelos de aprendizado profundo: estudo de caso em COVID-19, BP.MS; 20/07089-0 - Visualização em tarefas de classificação de imagens baseada em aprendizado profundo, BP.IC; 20/02891-3 - Segmentação de imagens com redes neurais totalmente convolucionais, BP.IC; 19/17873-3 - Suporte técnico ao projeto Interpretação de Imagens e de Modelos de Aprendizado Profundos, BP.TT; 18/25671-9 - Processamento e análise de imagens astronômicas usando modelos convolucionais profundos, BP.MS
• Assunto(s): Reconhecimento de imagem Aprendizado computacional Visão computacional Modelos de aprendizagem Visualização Informação
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Informaçaõ estrutural em imagens | Modelos de aprendizado profundo | Reconhecimento de imagens | Visualização | Visão computacional

Resumo

Um objetivo central na área de Visão Computacional é a interpretação de imagens. Em geral, aspectos de aparência são usados para detectar os componentes de interesse e então as relações espaciais e hierárquicas entre eles são usadas para "descrever" o conteúdo de uma imagem no nível semântico de interesse. Os modelos profundos atuais atingiram um estágio de evolução tal que são capazes de aprender e transferir características de baixo nível de um domínio para outro. No entanto, informações estruturais das imagens tais como as relações espaciais e hierárquicas entre os componentes são ainda modeladas explicitamente usando detalhes específicos de casos. Isto faz com que os modelos sejam mais difíceis de serem interpretados, útil apenas para poucas aplicações específicas, e as implicações sobre o esforço no preparo de dados de treinamento ainda não é claro. O objetivo deste projeto é o desenvolvimento de modelos profundos "structure-aware-semantics-unaware", com habilidade de aprender e codificar informações estruturais independentemente do nível semântico dos componentes. Isto impactaria o entendimento desses modelos (uma vez que as informações estruturais estariam mais explicitamente representadas) e os requisitos relativos aos dados de treinamento (uma vez que seria possível a transferência). Estão planejados estudos teóricos, o desenvolvimento de estratégias de visualização e de novos modelos profundos, e experimentação em relação a diversas tarefas de visão computacional. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

NAKAZONO, L.; DE OLIVEIRA, C. MENDES; HIRATA, N. S. T.; JERAM, S.; QUEIROZ, C.; EIKENBERRY, STEPHEN S.; GONZALEZ, A. H.; ABRAMO, R.; OVERZIER, R.; ESPADOTO, M.; et al. On the discovery of stars, quasars, and galaxies in the Southern Hemisphere with S-PLUS DR2. Monthly Notices of the Royal Astronomical Society, v. 507, n. 4, p. 5847-5868, NOV 2021. (18/09165-6, 19/06766-1, 19/10923-5, 15/22308-2, 19/26492-3, 18/20977-2, 14/10566-4, 19/01312-2, 18/25671-9, 19/23388-0, 17/25835-9, 15/11442-0, 16/12331-0)

HIRATA, NINA S. T.; PAPAKOSTAS, GEORGE A.. On Machine-Learning Morphological Image Operators. MATHEMATICS, v. 9, n. 16, AUG 2021. (17/25835-9, 15/22308-2)

ESPADOTO, MATEUS; MARTINS, RAFAEL M.; KERREN, ANDREAS; HIRATA, NINA S. T.; TELEA, ALEXANDRU C.. Toward a Quantitative Survey of Dimension Reduction Techniques. IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, v. 27, n. 3, p. 2153-2173, MAR 1 2021. (17/25835-9)