Redes geradoras e aprendizado de características para busca entre domínios visuais

• Processo: 17/22366-8
• Modalidade de apoio: Bolsas no Brasil - Doutorado Direto
• Data de Início da vigência: 01 de março de 2018
• Data de Término da vigência: 28 de fevereiro de 2023
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Moacir Antonelli Ponti
• Beneficiário: Leo Sampaio Ferraz Ribeiro
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Bolsa(s) vinculada(s): 19/02808-1 - Encontrando correspondências entre representações de diferentes domínios usando combinações de características não-supervisionadas, BE.EP.DD
• Assunto(s): Visão computacional Processamento de imagens Redes neurais (computação)
• Palavra(s)-Chave do Pesquisador: Aprendizado de características | Deep Learning | Processamento de imagens | Visão Computacional

Resumo

Métodos de aprendizado de características têm alcançado o estado da arte em diversas áreas. Apesar dos resultados excelentes obtidos em conjuntos de dados benchmark, ainda há pouco entendimento sobre seu funcionamento, e aplicações ainda a serem exploradas, em particular quando se considera arquiteturas que vão além das redes neurais convolucionais. Nesse projeto, propomos o uso de aprendizado de características a partir de aplicações que envolvam o mapeamento entre domínios em particular nas tarefas de recuperação de imagens entre domínios diferentes e aplicações em que há comumente limite de dados rotulados disponível para treinamento. Esses desafios podem ser resolvidos utilizando aprendizado profundo desenvolvendo novas arquiteturas baseadas em redes multi-stream, autoencoders convolucionais e modelos geradores. Os resultados esperados incluem o desenvolvimento de modelos que, possam realizar com sucesso o mapeamento entre dominios visuais diferentes, sendo capazes de generalizar para dados não vistos. (AU)

Publicações científicas

(5)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

PONTI, MOACIR A.; DOS SANTOS, FERNANDO P.; RIBEIRO, LEO S. F.; CAVALLARI, GABRIEL B.; IEEE COMP SOC. Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond. 2021 34TH SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES (SIBGRAPI 2021), v. N/A, p. 8-pg., 2021-01-01. (19/07316-0, 17/22366-8, 19/02033-0)

FERRAZ RIBEIRO, LEO SAMPAIO; BUI, TU; COLLOMOSSE, JOHN; PONTI, MOACIR; IEEE COMP SOC. Scene Designer: a Unified Model for Scene Search and Synthesis from Sketch. 2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW 2021), v. N/A, p. 10-pg., 2021-01-01. (19/02808-1, 17/22366-8, 19/07316-0)

SAMPAIO FERRAZ RIBEIRO, LEO; BUI, TU; COLLOMOSSE, JOHN; PONTI, MOACIR. Scene designer: compositional sketch-based image retrieval with contrastive learning and an auxiliary synthesis task. MULTIMEDIA TOOLS AND APPLICATIONS, v. N/A, p. 23-pg., 2022-12-20. (19/02808-1, 17/22366-8, 19/07316-0)

DOS SANTOS, FERNANDO P.; RIBEIRO, LEONARDO S. F.; PONTI, MOACIR A.. Generalization of feature embeddings transferred from different video anomaly detection domains. JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION, v. 60, p. 407-416, APR 2019. (13/07375-0, 18/22482-0, 17/22366-8)

CAVALLARI, GABRIEL B.; RIBEIRO, LEONARDO S. F.; PONTI, MOACIR A.; IEEE. Unsupervised representation learning using convolutional and stacked auto-encoders: a domain and cross-domain feature space analysis. PROCEEDINGS 2018 31ST SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES (SIBGRAPI), v. N/A, p. 7-pg., 2018-01-01. (17/22366-8, 16/16111-4, 13/07375-0)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

RIBEIRO, Leo Sampaio Ferraz. Busca entre Domínios Visuais com Aprendizado de Características através de Arquiteturas Baseadas em Transformers. 2023. Tese de Doutorado - Universidade de São Paulo (USP). Instituto de Ciências Matemáticas e de Computação (ICMC/SB) São Carlos.