Aprendizado de características na recuperação de imagens baseada em rascunhos e no sensoriamento remoto de baixa altitude

• Processo: 16/16111-4
• Linha de fomento: Auxílio à Pesquisa - Regular
• Vigência: 01 de fevereiro de 2017 - 31 de janeiro de 2019
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Moacir Antonelli Ponti
• Beneficiário: Moacir Antonelli Ponti
• Instituição-sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Pesq. associados: John Collomosse
• Assunto(s): Visão computacional Sensoriamento remoto Reconhecimento de padrões Processamento de imagens

Resumo

Métodos de aprendizado de características têm alcançado o estado da arte em diversas áreas. Apesar dos resultados excelentes obtidos em conjuntos de dados benchmark, ainda há pouco entendimento sobre seu funcionamento, e aplicações ainda a serem exploradas, em particular quando se considera arquiteturas que vão além das redes neurais convolucionais padrão. Nesse projeto, propomos o uso de aprendizado de características a partir de aplicações como a análise de imagens de sensoriamento remoto de baixa altitude para agricultura de precisão, e no mapeamento dos domínios rascunho e imagens, com foco na recuperação de imagens baseada em rascunhos. Cada uma dessas tarefas tem seus próprios desafios, mas em comum há o limite de dados rotulados disponível para treinamento. Esses desafios podem ser resolvidos utilizando aprendizado profundo desenvolvendo novas arquiteturas baseadas em auto-encoders, redes siamesas e modelos geradores.Propõe-se avaliar os modelos utilizando não apenas os dados benchmark, mas também avaliar a qualidade das representações por meio de técnicas de visualização e projeção como forma de análise dos espaços de características. Os resultados esperados incluem o desenvolvimento de modelos que, treinados com quantidade limitada de rótulos (ou ainda de forma não-supervisionada), sejam capazes de generalizar para dados e categorias não vistas. Além das contribuições na área de processamento de imagens e visão computacional, espera-se avançar o estado da arte nas aplicações. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

PONTI, MOACIR A.; DA COSTA, GABRIEL B. PARANHOS; SANTOS, FERNANDO P.; SILVEIRA, KAUE U. Supervised and unsupervised relevance sampling in handcrafted and deep learning features obtained from image collections. APPLIED SOFT COMPUTING, v. 80, p. 414-424, JUL 2019. Citações Web of Science: 0.

BUI, TU; RIBEIRO, LEONARDO; PONTI, MOACIR; COLLOMOSSE, JOHN. Sketching out the details: Sketch-based image retrieval using convolutional neural networks with multi-stage regression. COMPUTERS & GRAPHICS-UK, v. 71, p. 77-87, APR 2018. Citações Web of Science: 2.

BUI, T.; RIBEIRO, L.; PONTI, M.; COLLOMOSSE, J. Compact descriptors for sketch-based image retrieval using a triplet loss convolutional neural network. COMPUTER VISION AND IMAGE UNDERSTANDING, v. 164, n. SI, p. 27-37, NOV 2017. Citações Web of Science: 5.