Interpretação de imagens e de modelos de aprendizado profundos

• Processo: 17/25835-9
• Modalidade de apoio: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
• Vigência: 01 de setembro de 2018 - 31 de agosto de 2022
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Convênio/Acordo: Microsoft Research
• Pesquisador responsável: Nina Sumiko Tomita Hirata
• Beneficiário: Nina Sumiko Tomita Hirata
• Instituição Sede: Instituto de Matemática e Estatística (IME). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Empresa Sede: Microsoft Informática Ltda
• Município: São Paulo
• Pesquisadores associados: Alexandru-Cristian Telea ; Frank Dennis Julca Aguilar ; Harold Mouchere ; Roberto Hirata Junior
• Bolsa(s) vinculada(s): 21/02382-4 - Análise de imagens CT usando modelos de aprendizado profundo: estudo de caso em COVID-19, BP.MS; 20/07089-0 - Visualização em tarefas de classificação de imagens baseada em aprendizado profundo, BP.IC; 20/02891-3 - Segmentação de imagens com redes neurais totalmente convolucionais, BP.IC; 19/17873-3 - Suporte técnico ao projeto Interpretação de Imagens e de Modelos de Aprendizado Profundos, BP.TT; 18/25671-9 - Processamento e análise de imagens astronômicas usando modelos convolucionais profundos, BP.MS
• Assunto(s): Reconhecimento de imagem Aprendizado computacional Visão computacional Modelos de aprendizagem Visualização Informação
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Informaçaõ estrutural em imagens | Modelos de aprendizado profundo | Reconhecimento de imagens | Visualização | Visão computacional

Resumo

Um objetivo central na área de Visão Computacional é a interpretação de imagens. Em geral, aspectos de aparência são usados para detectar os componentes de interesse e então as relações espaciais e hierárquicas entre eles são usadas para "descrever" o conteúdo de uma imagem no nível semântico de interesse. Os modelos profundos atuais atingiram um estágio de evolução tal que são capazes de aprender e transferir características de baixo nível de um domínio para outro. No entanto, informações estruturais das imagens tais como as relações espaciais e hierárquicas entre os componentes são ainda modeladas explicitamente usando detalhes específicos de casos. Isto faz com que os modelos sejam mais difíceis de serem interpretados, útil apenas para poucas aplicações específicas, e as implicações sobre o esforço no preparo de dados de treinamento ainda não é claro. O objetivo deste projeto é o desenvolvimento de modelos profundos "structure-aware-semantics-unaware", com habilidade de aprender e codificar informações estruturais independentemente do nível semântico dos componentes. Isto impactaria o entendimento desses modelos (uma vez que as informações estruturais estariam mais explicitamente representadas) e os requisitos relativos aos dados de treinamento (uma vez que seria possível a transferência). Estão planejados estudos teóricos, o desenvolvimento de estratégias de visualização e de novos modelos profundos, e experimentação em relação a diversas tarefas de visão computacional. (AU)

Publicações científicas

(13)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

ESPADOTO, MATEUS; HIRATA, NINA; TELEA, ALEXANDRU; HURTER, C; PURCHASE, H; BRAZ, J; BOUATOUCH, K. Self-supervised Dimensionality Reduction with Neural Networks and Pseudo-labeling. VISAPP: PROCEEDINGS OF THE 16TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS - VOL. 5: VISAPP, v. N/A, p. 11-pg., 2021-01-01. (15/22308-2, 17/25835-9)

HIRATA, NINA S. T.; PAPAKOSTAS, GEORGE A.. On Machine-Learning Morphological Image Operators. MATHEMATICS, v. 9, n. 16, AUG 2021. (17/25835-9, 15/22308-2)

MARTINAZZO, ANA; ESPADOTO, MATEUS; HIRATA, NINA S. T.; IEEE COMP SOC. Self-supervised Learning for Astronomical Image Classification. 2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), v. N/A, p. 7-pg., 2021-01-01. (17/25835-9, 18/25671-9)

OLIVEIRA, ARTUR ANDRE A. M.; ESPADOTO, MATEUS; HIRATA JR, ROBERTO; TELEA, ALEXANDRU C.; HURTER, C; PURCHASE, H; BOUATOUCH, K. SDBM: Supervised Decision Boundary Maps for Machine Learning Classifiers. PROCEEDINGS OF THE 17TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS (VISAPP), VOL 4, v. N/A, p. 11-pg., 2022-01-01. (15/22308-2, 17/25835-9)

BLANGER, LEONARDO; HIRATA, NINA S. T.; IEEE. AN EVALUATION OF DEEP LEARNING TECHNIQUES FOR QR CODE DETECTION. 2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), v. N/A, p. 5-pg., 2019-01-01. (17/25835-9, 18/00390-7, 15/22308-2)

NAKAZONO, L.; DE OLIVEIRA, C. MENDES; HIRATA, N. S. T.; JERAM, S.; QUEIROZ, C.; EIKENBERRY, STEPHEN S.; GONZALEZ, A. H.; ABRAMO, R.; OVERZIER, R.; ESPADOTO, M.; et al. On the discovery of stars, quasars, and galaxies in the Southern Hemisphere with S-PLUS DR2. Monthly Notices of the Royal Astronomical Society, v. 507, n. 4, p. 5847-5868, NOV 2021. (18/09165-6, 19/06766-1, 19/10923-5, 15/22308-2, 19/26492-3, 18/20977-2, 14/10566-4, 19/01312-2, 18/25671-9, 19/23388-0, 17/25835-9, 15/11442-0, 16/12331-0)

BLANGER, LEONARDO; HIRATA, NINA S. T.; JIANG, XIAOYI; IEEE COMP SOC. Reducing the need for bounding box annotations in Object Detection using Image Classification data. 2021 34TH SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES (SIBGRAPI 2021), v. N/A, p. 8-pg., 2021-01-01. (18/00390-7, 15/22308-2, 17/25835-9, 19/17312-1)

MONTEIRO SILVA, AUGUSTO CESAR; HIRATA, NINA S. T.; JIANG, XIAOYI; IEEE COMP SOC. Skeletal Similarity based Structural Performance Evaluation for Document Binarization. 2020 17TH INTERNATIONAL CONFERENCE ON FRONTIERS IN HANDWRITING RECOGNITION (ICFHR 2020), v. N/A, p. 6-pg., 2020-01-01. (15/22308-2, 19/07361-5, 18/00477-5, 17/25835-9)

ESPADOTO, MATEUS; MARTINS, RAFAEL M.; KERREN, ANDREAS; HIRATA, NINA S. T.; TELEA, ALEXANDRU C.. Toward a Quantitative Survey of Dimension Reduction Techniques. IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, v. 27, n. 3, p. 2153-2173, MAR 1 2021. (17/25835-9)

MARTINAZZO, ANA; ESPADOTO, MATEUS; HIRATA, NINA S. T.; FARINELLA, GM; RADEVA, P; BRAZ, J. Deep Learning for Astronomical Object Classification: A Case Study. VISAPP: PROCEEDINGS OF THE 15TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS, VOL 4: VISAPP, v. N/A, p. 9-pg., 2020-01-01. (17/25835-9, 18/25671-9, 15/22308-2)

BARRERA, JUNIOR; HASHIMOTO, RONALDO F.; HIRATA, NINA S. T.; HIRATA, R., JR.; REIS, MARCELO S.. From Mathematical Morphology to machine learning of image operators. SAO PAULO JOURNAL OF MATHEMATICAL SCIENCES, v. 16, n. 1, p. 42-pg., 2022-04-21. (15/22308-2, 13/07467-1, 19/21619-5, 17/25835-9)

ESPADOTO, MATEUS; RODRIGUES, FRANCISCO C. M.; HIRATA, NINA S. T.; TELEA, ALEXANDRU C.; HURTER, C; PURCHASE, H; BRAZ, J; BOUATOUCH, K. OptMap: Using Dense Maps for Visualizing Multidimensional Optimization Problems. VISAPP: PROCEEDINGS OF THE 16TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS - VOL. 5: VISAPP, v. N/A, p. 10-pg., 2021-01-01. (15/22308-2, 17/25835-9)

HAYASHI, SERGIO Y.; HIRATA, NINA S. T.; IEEE. Understanding attention-based encoder-decoder networks: a case study with chess scoresheet recognition. 2022 26TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), v. N/A, p. 7-pg., 2022-01-01. (15/22308-2, 17/25835-9)