| Texto completo | |
| Autor(es): |
Sampaio Ferraz Ribeiro, Leo
;
Bui, Tu
;
Collomosse, John
;
Ponti, Moacir
Número total de Autores: 4
|
| Tipo de documento: | Artigo Científico |
| Fonte: | MULTIMEDIA TOOLS AND APPLICATIONS; v. N/A, p. 23-pg., 2022-12-20. |
| Resumo | |
Scene Designer is a novel method for Compositional Sketch-based Image Retrieval (CSBIR) that combines semantic layout synthesis with its main task both to boost performance and enable new creative workflows. While most studies on sketch focus on single-object retrieval, we look to multi-object scenes instead for increased query specificity and flexibility. Our training protocol improves contrastive learning by synthesising harder negative samples and introduces a layout synthesis task that further improves the semantic scene representations. We show that our object-oriented graph neural network (GNN) more than doubles the current SoTA recall@1 on the SketchyCOCO CSBIR benchmark under our novel contrastive learning setting and combined search and synthesis tasks. Furthermore, we introduce the first large-scale sketched scene dataset and benchmark in QuickDrawCOCO. (AU) | |
| Processo FAPESP: | 19/02808-1 - Encontrando correspondências entre representações de diferentes domínios usando combinações de características não-supervisionadas |
| Beneficiário: | Leo Sampaio Ferraz Ribeiro |
| Modalidade de apoio: | Bolsas no Exterior - Estágio de Pesquisa - Doutorado Direto |
| Processo FAPESP: | 17/22366-8 - Redes geradoras e aprendizado de características para busca entre domínios visuais |
| Beneficiário: | Leo Sampaio Ferraz Ribeiro |
| Modalidade de apoio: | Bolsas no Brasil - Doutorado Direto |
| Processo FAPESP: | 19/07316-0 - Teoria de singularidades e aplicações a geometria diferencial, equações diferenciais e visão computacional |
| Beneficiário: | Farid Tari |
| Modalidade de apoio: | Auxílio à Pesquisa - Temático |