A systematic comparison of supervised classifiers

Resumo

Técnicas de reconhecimento de padrões têm sido amplamente empregadas em aplicações industriais, médicas, comerciais e acadêmicas. Para lidar com esta grande diversidade de dados, muitas técnicas têm sido desenvolvidas. Infelizmente, apesar da longa tradição histórica da área de reconhecimento de padrões, não existe ainda uma técnica única capaz de gerar a melhor classificação em todos os cenários. Portanto, a utilização de várias técnicas se apresenta como uma prática fundamental em aplicações onde a máxima qualidade de classificação é desejada. Os trabalhos típicos na literatura comparando classificadores ou enfatizam o desempenho de um dado método em testes de validação ou comparam sistematicamente vários algoritmos, assumindo que o uso prático de métodos é feito por especialistas. Em várias ocasiões, no entanto, pesquisadores não especialistas são enfrentam problemas de classificação práticos sem se preocupar com questões mais complexas a respeito dos mecanismos de funcionamento de parâmetros de tais métodos. Na verdade, a escolha adequada de classificadores e parâmetros em tais contextos práticos ainda hoje representa uma das dificuldades enfrentadas na aplicação de métodos de reconhecimento de autoria. Neste estudo, analisamos o desempenho de nove classificadores famosos, os quais são implementados pelo framework Weka. Em especial, estudamos também a influência da escolha dos parâmetros no desempenho dos classificadores. A análise de desempenho com parâmetros padrões avaliadas em um banco de dados artificial com distribuição gaussiana mostrou que o algoritmo k-nearest-neighbors (kNN) apresenta um desempenho superior aos outros classificadores quando dimensões maiores são analisadas. Quando outras configurações de parâmetros são permitidas, descobrimos ser possível melhorar a qualidade de support vector machines (SVM) em mais de 20% mesmo se os parâmetros são estabelecidos aleatoriamente. As investigações conduzidas neste estudo sugerem que, exceto para o algoritmo SVM, os parâmetros padrões do Weka fornecem um desempenho próximo àquele obtido com a configuração ótima. (AU)