| Texto completo | |
| Autor(es): |
Ferraz Ribeiro, Leo Sampaio
;
Bui, Tu
;
Collomosse, John
;
Ponti, Moacir
;
IEEE Comp Soc
Número total de Autores: 5
|
| Tipo de documento: | Artigo Científico |
| Fonte: | 2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW 2021); v. N/A, p. 10-pg., 2021-01-01. |
| Resumo | |
Scene Designer is a novel method for searching and generating images using free-hand sketches of scene compositions; i.e. drawings that describe both the appearance and relative positions of objects. Our core contribution is a single unified model to learn both a cross-modal search embedding for matching sketched compositions to images, and an object embedding for layout synthesis. We show that a graph neural network (GNN) followed by Transformer under our novel contrastive learning setting is required to allow learning correlations between object type, appearance and arrangement, driving a mask generation module that synthesizes coherent scene layouts, whilst also delivering state of the art sketch based visual search of scenes. (AU) | |
| Processo FAPESP: | 19/02808-1 - Encontrando correspondências entre representações de diferentes domínios usando combinações de características não-supervisionadas |
| Beneficiário: | Leo Sampaio Ferraz Ribeiro |
| Modalidade de apoio: | Bolsas no Exterior - Estágio de Pesquisa - Doutorado Direto |
| Processo FAPESP: | 17/22366-8 - Redes geradoras e aprendizado de características para busca entre domínios visuais |
| Beneficiário: | Leo Sampaio Ferraz Ribeiro |
| Modalidade de apoio: | Bolsas no Brasil - Doutorado Direto |
| Processo FAPESP: | 19/07316-0 - Teoria de singularidades e aplicações a geometria diferencial, equações diferenciais e visão computacional |
| Beneficiário: | Farid Tari |
| Modalidade de apoio: | Auxílio à Pesquisa - Temático |