Interpretação de imagens e de modelos de aprendizado profundos

• Processo: 17/25835-9
• Modalidade de apoio: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
• Data de Início da vigência: 01 de setembro de 2018
• Data de Término da vigência: 31 de agosto de 2022
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Acordo de Cooperação: Microsoft Research
• Pesquisador responsável: Nina Sumiko Tomita Hirata
• Beneficiário: Nina Sumiko Tomita Hirata
• Instituição Sede: Instituto de Matemática e Estatística (IME). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Empresa: Microsoft Informática Ltda
• Município: São Paulo
• Pesquisadores associados: Alexandru-Cristian Telea ; Frank Dennis Julca Aguilar ; Harold Mouchere ; Roberto Hirata Junior
• Bolsa(s) vinculada(s): 21/02382-4 - Análise de imagens CT usando modelos de aprendizado profundo: estudo de caso em COVID-19, BP.MS; 20/07089-0 - Visualização em tarefas de classificação de imagens baseada em aprendizado profundo, BP.IC; 20/02891-3 - Segmentação de imagens com redes neurais totalmente convolucionais, BP.IC; 19/17873-3 - Suporte técnico ao projeto Interpretação de Imagens e de Modelos de Aprendizado Profundos, BP.TT; 18/25671-9 - Processamento e análise de imagens astronômicas usando modelos convolucionais profundos, BP.MS
• Assunto(s): Reconhecimento de imagem Aprendizado computacional Visão computacional Modelos de aprendizagem Visualização Informação
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Informaçaõ estrutural em imagens | Modelos de aprendizado profundo | Reconhecimento de imagens | Visualização | Visão computacional

Resumo

Um objetivo central na área de Visão Computacional é a interpretação de imagens. Em geral, aspectos de aparência são usados para detectar os componentes de interesse e então as relações espaciais e hierárquicas entre eles são usadas para "descrever" o conteúdo de uma imagem no nível semântico de interesse. Os modelos profundos atuais atingiram um estágio de evolução tal que são capazes de aprender e transferir características de baixo nível de um domínio para outro. No entanto, informações estruturais das imagens tais como as relações espaciais e hierárquicas entre os componentes são ainda modeladas explicitamente usando detalhes específicos de casos. Isto faz com que os modelos sejam mais difíceis de serem interpretados, útil apenas para poucas aplicações específicas, e as implicações sobre o esforço no preparo de dados de treinamento ainda não é claro. O objetivo deste projeto é o desenvolvimento de modelos profundos "structure-aware-semantics-unaware", com habilidade de aprender e codificar informações estruturais independentemente do nível semântico dos componentes. Isto impactaria o entendimento desses modelos (uma vez que as informações estruturais estariam mais explicitamente representadas) e os requisitos relativos aos dados de treinamento (uma vez que seria possível a transferência). Estão planejados estudos teóricos, o desenvolvimento de estratégias de visualização e de novos modelos profundos, e experimentação em relação a diversas tarefas de visão computacional. (AU)

Publicações científicas

(13)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

ESPADOTO, MATEUS; MARTINS, RAFAEL M.; KERREN, ANDREAS; HIRATA, NINA S. T.; TELEA, ALEXANDRU C.. Toward a Quantitative Survey of Dimension Reduction Techniques. IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, v. 27, n. 3, p. 2153-2173, MAR 1 2021. (17/25835-9)

ESPADOTO, MATEUS; RODRIGUES, FRANCISCO C. M.; HIRATA, NINA S. T.; TELEA, ALEXANDRU C.; HURTER, C; PURCHASE, H; BRAZ, J; BOUATOUCH, K. OptMap: Using Dense Maps for Visualizing Multidimensional Optimization Problems. VISAPP: PROCEEDINGS OF THE 16TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS - VOL. 5: VISAPP, v. N/A, p. 10-pg., 2021-01-01. (15/22308-2, 17/25835-9)

HAYASHI, SERGIO Y.; HIRATA, NINA S. T.; IEEE. Understanding attention-based encoder-decoder networks: a case study with chess scoresheet recognition. 2022 26TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), v. N/A, p. 7-pg., 2022-01-01. (15/22308-2, 17/25835-9)

MARTINAZZO, ANA; ESPADOTO, MATEUS; HIRATA, NINA S. T.; FARINELLA, GM; RADEVA, P; BRAZ, J. Deep Learning for Astronomical Object Classification: A Case Study. VISAPP: PROCEEDINGS OF THE 15TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS, VOL 4: VISAPP, v. N/A, p. 9-pg., 2020-01-01. (17/25835-9, 18/25671-9, 15/22308-2)

MONTEIRO SILVA, AUGUSTO CESAR; HIRATA, NINA S. T.; JIANG, XIAOYI; IEEE COMP SOC. Skeletal Similarity based Structural Performance Evaluation for Document Binarization. 2020 17TH INTERNATIONAL CONFERENCE ON FRONTIERS IN HANDWRITING RECOGNITION (ICFHR 2020), v. N/A, p. 6-pg., 2020-01-01. (15/22308-2, 19/07361-5, 18/00477-5, 17/25835-9)

BARRERA, JUNIOR; HASHIMOTO, RONALDO F.; HIRATA, NINA S. T.; HIRATA, R., JR.; REIS, MARCELO S.. From Mathematical Morphology to machine learning of image operators. SAO PAULO JOURNAL OF MATHEMATICAL SCIENCES, v. 16, n. 1, p. 42-pg., 2022-04-21. (15/22308-2, 13/07467-1, 19/21619-5, 17/25835-9)

BLANGER, LEONARDO; HIRATA, NINA S. T.; JIANG, XIAOYI; IEEE COMP SOC. Reducing the need for bounding box annotations in Object Detection using Image Classification data. 2021 34TH SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES (SIBGRAPI 2021), v. N/A, p. 8-pg., 2021-01-01. (18/00390-7, 15/22308-2, 17/25835-9, 19/17312-1)

ESPADOTO, MATEUS; HIRATA, NINA; TELEA, ALEXANDRU; HURTER, C; PURCHASE, H; BRAZ, J; BOUATOUCH, K. Self-supervised Dimensionality Reduction with Neural Networks and Pseudo-labeling. VISAPP: PROCEEDINGS OF THE 16TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS - VOL. 5: VISAPP, v. N/A, p. 11-pg., 2021-01-01. (15/22308-2, 17/25835-9)

MARTINAZZO, ANA; ESPADOTO, MATEUS; HIRATA, NINA S. T.; IEEE COMP SOC. Self-supervised Learning for Astronomical Image Classification. 2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), v. N/A, p. 7-pg., 2021-01-01. (17/25835-9, 18/25671-9)

OLIVEIRA, ARTUR ANDRE A. M.; ESPADOTO, MATEUS; HIRATA JR, ROBERTO; TELEA, ALEXANDRU C.; HURTER, C; PURCHASE, H; BOUATOUCH, K. SDBM: Supervised Decision Boundary Maps for Machine Learning Classifiers. PROCEEDINGS OF THE 17TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS (VISAPP), VOL 4, v. N/A, p. 11-pg., 2022-01-01. (15/22308-2, 17/25835-9)

NAKAZONO, L.; DE OLIVEIRA, C. MENDES; HIRATA, N. S. T.; JERAM, S.; QUEIROZ, C.; EIKENBERRY, STEPHEN S.; GONZALEZ, A. H.; ABRAMO, R.; OVERZIER, R.; ESPADOTO, M.; et al. On the discovery of stars, quasars, and galaxies in the Southern Hemisphere with S-PLUS DR2. Monthly Notices of the Royal Astronomical Society, v. 507, n. 4, p. 5847-5868, NOV 2021. (18/09165-6, 19/06766-1, 19/10923-5, 15/22308-2, 19/26492-3, 18/20977-2, 14/10566-4, 19/01312-2, 18/25671-9, 19/23388-0, 17/25835-9, 15/11442-0, 16/12331-0)

HIRATA, NINA S. T.; PAPAKOSTAS, GEORGE A.. On Machine-Learning Morphological Image Operators. MATHEMATICS, v. 9, n. 16, AUG 2021. (17/25835-9, 15/22308-2)

BLANGER, LEONARDO; HIRATA, NINA S. T.; IEEE. AN EVALUATION OF DEEP LEARNING TECHNIQUES FOR QR CODE DETECTION. 2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), v. N/A, p. 5-pg., 2019-01-01. (17/25835-9, 18/00390-7, 15/22308-2)