| Texto completo | |
| Autor(es): |
Ribeiro, Leo Sampaio Ferraz
;
Bui, Tu
;
Collomosse, John
;
Ponti, Moacir
Número total de Autores: 4
|
| Tipo de documento: | Artigo Científico |
| Fonte: | 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR 2020); v. N/A, p. 10-pg., 2020-01-01. |
| Resumo | |
Sketchformer is a novel transformer-based representation for encoding free-hand sketches input in a vector form, i.e. as a sequence of strokes. Sketchformer effectively addresses multiple tasks: sketch classification, sketch based image retrieval (SBIR), and the reconstruction and interpolation of sketches. We report several variants exploring continuous and tokenized input representations, and contrast their performance. Our learned embedding, driven by a dictionary learning tokenization scheme, yields state of the art performance in classification and image retrieval tasks, when compared against baseline representations driven by LSTM sequence to sequence architectures: SketchRNN and derivatives. We show that sketch reconstruction and interpolation are improved significantly by the Sketchformer embedding for complex sketches with longer stroke sequences. (AU) | |
| Processo FAPESP: | 18/22482-0 - Aprendendo características de conteúdo visual sob condições de supervisão limitada utilizando múltiplos domínios |
| Beneficiário: | Moacir Antonelli Ponti |
| Modalidade de apoio: | Auxílio à Pesquisa - Regular |
| Processo FAPESP: | 19/02808-1 - Encontrando correspondências entre representações de diferentes domínios usando combinações de características não-supervisionadas |
| Beneficiário: | Leo Sampaio Ferraz Ribeiro |
| Modalidade de apoio: | Bolsas no Exterior - Estágio de Pesquisa - Doutorado Direto |
| Processo FAPESP: | 17/22366-8 - Redes geradoras e aprendizado de características para busca entre domínios visuais |
| Beneficiário: | Leo Sampaio Ferraz Ribeiro |
| Modalidade de apoio: | Bolsas no Brasil - Doutorado Direto |