An approach to automatic organization of dynamic text collections using incremental hierarchical clustering

• Grant number: 09/12532-1
• Support Opportunities: Scholarships in Brazil - Master
• Start date: March 01, 2010
• End date: February 28, 2011
• Field of knowledge: Physical Sciences and Mathematics - Computer Science - Computing Methodologies and Techniques
• Principal Investigator: Solange Oliveira Rezende
• Grantee: Ricardo Marcondes Marcacini
• Host Institution: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brazil

Abstract

O avanço das tecnologias para aquisição e armazenamento de dados tem permitido que o volume de informação gerado em formato digital aumente de forma exponencial nas organizações. A necessidade de interpretar estas coleções textuais e transformá-las em conhecimento útil para suporte à tomada de decisões, tem motivado o desenvolvimento de novas técnicas computacionais de extração e organização automática do conhecimento. Uma das maneiras de alcançar este objetivo é por meio métodos de agrupamento hierárquico de documentos, que permitem organizar automaticamente uma coleção textual em grupos que sumarizam o conhecimento implícito. Ainda, os grupos formados são dispostos de maneira hierárquica, em que grupos e sub-grupos representam um tópico de conhecimento da coleção, provendo um meio intuitivo para explorar o conhecimento. Entretanto, a maioria das abordagens para agrupamento de documentos da literatura assume que as coleções textuais são estáticas, ou seja, não tratam a possibilidade de que documentos possam ser inseridos, modificados ou excluídos da coleção textual. Métodos de agrupamento hierárquico que respeitam estes requisitos devem processar novos documentos assim que são adicionados na coleção textual, realizando o agrupamento de forma incremental. Com agrupamento hierárquico incremental é possível organizar coleções textuais dinâmicas sem reprocessamento redundante, uma vez que apenas informações inseridas, removidas ou atualizadas são consideradas. Desta forma, o presente projeto visa investigar métodos de agrupamento incremental para propor uma abordagem de organização automática de coleções textuais dinâmicas, mantendo a representação do conhecimento sempre válida e atualizada, e permitindo a descoberta de conhecimento nos cenários atuais, caracterizados pela alta freqüência de publicação e atualização das informações. (AU)

Academic Publications

(References retrieved automatically from State of São Paulo Research Institutions)

MARCACINI, Ricardo Marcondes. Unsupervised learning of topic hierarchies from dynamic text collections. 2011. Master's Dissertation - Universidade de São Paulo (USP). Instituto de Ciências Matemáticas e de Computação (ICMC/SB) São Carlos.