Uma abordagem baseada em sacola de grafos para representações envolvendo múltiplas modalidades

• Processo: 16/18429-1
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de março de 2017
• Data de Término da vigência: 30 de abril de 2019
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Ricardo da Silva Torres
• Beneficiário: Rafael de Oliveira Werneck
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Bolsa(s) vinculada(s): 17/16453-5 - Uma abordagem baseada em sacola de grafos para representações envolvendo múltiplas modalidades, BE.EP.DR
• Assunto(s): Reconhecimento de objetos Multimídia Teoria dos grafos Sensoriamento remoto
• Palavra(s)-Chave do Pesquisador: Bag of Graphs | Bag representation | Cross Modality | Graph representation | Multiple Modality | Representações de Objetos

Resumo

Recentemente, verifica-se um rápido crescimento de coleções com conteúdo multimídia, especialmente na World Wide Web. Um objeto multimídia, quando associado a um assunto, é codificado sob diferentes perspectivas, como por exemplo, texto, imagens ou vídeos, comumente denominados como seus componentes multimodais. Explorando as diferentes informações fornecidas por essas diferentes modalidades, pode-se ter um melhor entendimento do conteúdo descrito pelo objeto multimídia. O desafio desse problema é encontrar uma forma de definir e correlacionar essas modalidades, e aprender com essa correlação com o intuito de se prestar serviços (como busca e classificação) mais eficientes e eficazes. Esta tese de doutorado propõe a criação de uma representação vetorial de objetos multimídia através de uma abordagem de sacola de palavras, no qual ela representa as informações presentes em múltiplas modalidades. Para isso, modela-se a relação entre as diferentes modalidades de um objeto multimídia usando grafos. Estes grafos são usados como entrada de um arcabouço de sacola de palavras que tem por objetivo gerar a representação vetorial do objeto multimídia. Foram realizados experimentos utilizando nossa abordagem em um problema de classificação de imagens de sensoriamento remoto considerando a descrição de múltiplas características. Nossa abordagem foi aplicada em duas bases de imagens, onde foram realizados análises paramétricas e análises estatísticas nos resultados. Mostramos que a nossa abordagem produz resultados efetivos em imagens de sensoriamento remoto. (AU)

Publicações científicas

(7)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

NOGUEIRA, KEILLER; FADEL, SAMUEL G.; DOURADO, ICARO C.; WERNECK, RAFAEL DE O.; MUNOZ, V, JAVIER A.; PENATTI, OTAVIO A. B.; CALUMBY, RODRIGO T.; LI, LIN TZY; DOS SANTOS, JEFERSSON A.; TORRES, RICARDO DA S.. Exploiting ConvNet Diversity for Flooding Identification. IEEE Geoscience and Remote Sensing Letters, v. 15, n. 9, p. 1446-1450, SEP 2018. (14/50715-9, 16/18429-1, 13/50155-0, 15/24494-8, 14/12236-1, 13/50169-1)

WERNECK, RAFAEL DE OLIVEIRA; RAVEAUX, ROMAIN; TABBONE, SALVATORE; TORRES, RICARDO DA SILVA. Learning cost function for graph classification with open-set methods. PATTERN RECOGNITION LETTERS, v. 128, p. 8-15, DEC 1 2019. (14/50715-9, 16/18429-1, 17/20945-0, 13/50155-0, 17/16453-5, 15/24494-8, 14/12236-1, 13/50169-1)

WERNECK, RAFAEL DE OLIVEIRA; DE ALMEIDA, WALDIR RODRIGUES; STEIN, BERNARDO VECCHIA; PAZINATO, DANIEL VATANABE; MENDES JUNIOR, PEDRO RIBEIRO; BIZETTO PENATTI, OTAVIO AUGUSTO; ROCHA, ANDERSON; TORRES, RICARDO DA SILVA. Kuaa: A unified framework for design, deployment, execution, and recommendation of machine learning experiments. FUTURE GENERATION COMPUTER SYSTEMS-THE INTERNATIONAL JOURNAL OF ESCIENCE, v. 78, n. 1, p. 59-76, JAN 2018. (16/18429-1, 15/19222-9, 13/50155-0, 14/12236-1, 13/50169-1)

WERNECK, RAFAEL DE O.; RAVEAUX, ROMAIN; TABBONE, SALVATORE; TORRES, RICARDO DA S.; BAI, X; HANCOCK, ER; HO, TK; WILSON, RC; BIGGIO, B; ROBLESKELLY, A. Learning Cost Functions for Graph Matching. STRUCTURAL, SYNTACTIC, AND STATISTICAL PATTERN RECOGNITION, S+SSPR 2018, v. 11004, p. 10-pg., 2018-01-01. (14/50715-9, 17/20945-0, 14/12236-1, 16/18429-1, 16/50250-1, 13/50169-1, 13/50155-0, 15/24494-8)

SILVA, FERNANDA B.; WERNECK, RAFAEL DE O.; GOLDENSTEIN, SIOME; TABBONE, SALVATORE; TORRES, RICARDO DA S.. Graph-based bag-of-words for classification. PATTERN RECOGNITION, v. 74, p. 266-285, FEB 2018. (16/18429-1, 12/50468-6, 13/11378-4, 13/50155-0, 14/12236-1, 12/16172-2, 13/50169-1)

WERNECK, RAFAEL DE O.; DOURADO, ICARO C.; FADEL, SAMUEL G.; TABBONE, SALVATORE; TORRES, RICARDO DA S.; IEEE. GRAPH-BASED EARLY-FUSION FOR FLOOD DETECTION. 2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), v. N/A, p. 5-pg., 2018-01-01. (13/50169-1, 13/50155-0, 14/12236-1, 16/18429-1, 14/50715-9, 17/16453-5, 17/24005-2)

WERNECK, RAFAEL DE OLIVEIRA; DE ALMEIDA, WALDIR RODRIGUES; STEIN, BERNARDO VECCHIA; PAZINATO, DANIEL VATANABE; MENDES JUNIOR, PEDRO RIBEIRO; BIZETTO PENATTI, OTAVIO AUGUSTO; ROCHA, ANDERSON; TORRES, RICARDO DA SILVA. Kuaa: A unified framework for design, deployment, execution, and recommendation of machine learning experiments. FUTURE GENERATION COMPUTER SYSTEMS-THE INTERNATIONAL JOURNAL OF ESCIENCE, v. 78, p. 18-pg., 2018-01-01. (13/50169-1, 13/50155-0, 14/12236-1, 16/18429-1, 15/19222-9)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

WERNECK, Rafael de Oliveira. Learning graph-based representations and matching in classification tasks. 2019. Tese de Doutorado - Universidade Estadual de Campinas (UNICAMP). Instituto de Computação Campinas, SP.