Uma abordagem baseada em sacola de grafos para representações envolvendo múltiplas modalidades

Resumo

Recentemente, verifica-se um rápido crescimento de coleções com conteúdo multimídia, especialmente na World Wide Web. Um objeto multimídia, quando associado a um assunto, é codificado sob diferentes perspectivas, como por exemplo, texto, imagens ou vídeos, comumente denominados como seus componentes multimodais. Explorando as diferentes informações fornecidas por essas diferentes modalidades, pode-se ter um melhor entendimento do conteúdo descrito pelo objeto multimídia. O desafio desse problema é encontrar uma forma de definir e correlacionar essas modalidades, e aprender com essa correlação com o intuito de se prestar serviços (como busca e classificação) mais eficientes e eficazes. Esta tese de doutorado propõe a criação de uma representação vetorial de objetos multimídia através de uma abordagem de sacola de palavras, no qual ela representa as informações presentes em múltiplas modalidades. Para isso, modela-se a relação entre as diferentes modalidades de um objeto multimídia usando grafos. Estes grafos são usados como entrada de um arcabouço de sacola de palavras que tem por objetivo gerar a representação vetorial do objeto multimídia. Foram realizados experimentos utilizando nossa abordagem em um problema de classificação de imagens de sensoriamento remoto considerando a descrição de múltiplas características. Nossa abordagem foi aplicada em duas bases de imagens, onde foram realizados análises paramétricas e análises estatísticas nos resultados. Mostramos que a nossa abordagem produz resultados efetivos em imagens de sensoriamento remoto. (AU)