Sketching out the details: Sketch-based image retrieval using convolutional neural networks with multi-stage regression

Autor(es)

Bui, Tu ^[1] ; Ribeiro, Leonardo ^[2] ; Ponti, Moacir ^[2] ; Collomosse, John ^[1]

Afiliação do(s) autor(es)

^[1] Univ Surrey, CVSSP, Guildford GU2 7XH, Surrey - England

^[2] Univ Sao Paulo, Inst Math & Comp Sci ICMC, BR-13566590 Sao Carlos, SP - Brazil

• Tipo de documento: Artigo Científico
• Fonte: COMPUTERS & GRAPHICS-UK; v. 71, p. 77-87, APR 2018.
• Citações Web of Science: 3

Resumo

We propose and evaluate several deep network architectures for measuring the similarity between sketches and photographs, within the context of the sketch based image retrieval (SBIR) task. We study the ability of our networks to generalize across diverse object categories from limited training data, and explore in detail strategies for weight sharing, pre-processing, data augmentation and dimensionality reduction. In addition to a detailed comparative study of network configurations, we contribute by describing a hybrid multi-stage training network that exploits both contrastive and triplet networks to exceed state of the art performance on several SBIR benchmarks by a significant margin. (C) 2017 Elsevier Ltd. All rights reserved. (AU)

• Processo FAPESP: 16/16111-4 - Aprendizado de características na recuperação de imagens baseada em rascunhos e no sensoriamento remoto de baixa altitude
• Beneficiário: Moacir Antonelli Ponti
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Processo FAPESP: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria
• Beneficiário: Francisco Louzada Neto
• Modalidade de apoio: Auxílio à Pesquisa - Centros de Pesquisa, Inovação e Difusão - CEPIDs
• Processo FAPESP: 17/10068-2 - Métodos de redução de dimensionalidade em representações geradas por redes convolucionais triplet
• Beneficiário: Leo Sampaio Ferraz Ribeiro
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica