Otimização de hiperparâmetros em arquiteturas de aprendizado em profundidade

• Processo: 13/20387-7
• Modalidade de apoio: Bolsas no Exterior - Pesquisa
• Data de Início da vigência: 01 de março de 2014
• Data de Término da vigência: 28 de fevereiro de 2015
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: João Paulo Papa
• Beneficiário: João Paulo Papa
• Pesquisador Anfitrião: David Cox
• Instituição Sede: Faculdade de Ciências (FC). Universidade Estadual Paulista (UNESP). Campus de Bauru. Bauru , SP, Brasil
• Instituição Anfitriã: Harvard University, Cambridge, Estados Unidos
• Vinculado ao auxílio: 09/16206-1 - Novas tendências em reconhecimento de padrões baseado em floresta de caminhos ótimos, AP.JP
• Assunto(s): Reconhecimento de padrões Aprendizado computacional Processamento de imagens
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Processamento de imagens | Reconhecimento de padrões

Resumo

Arquiteturas de aprendizado em profundidade tem sido amplamente estudadas nos últimos anos, dado que a sua filosofia consiste na utilização de uma complexa estrutura hierárquica para o aprendizado e representação de informações, de maneira análoga ao processamento neural humano. Tais arquiteturas consistem em várias etapas, que correspondem, basicamente, em submeter uma imagem (no caso de aplicações voltadas aos estudos na área de visão computacional, por exemplo) a um processo de filtragem utilizando um banco de filtros para posterior extração de informações e amostragem da mesma. Em seguida, essa imagem modificada é então submetida a uma nova camada de operações, iguais às conduzidas na camada anterior. Ao final do processo, obtém-se uma descrição em alta dimensão dessa imagem, sendo esta representação então utilizada em um processo de classificação tradicional. Ocorre que todo este processo requer um grande número de parâmetros (quantidade e tamanho dos filtros, taxa de amostragem e parâmetros inerentes ao processo de classificação, por exemplo), os quais são chamados de hiperparâmetros e são fundamentais para o sucesso do processo de extração, representação e classificação dos dados. Podemos, então, modelar a tarefa de encontrar tais parâmetros como sendo um problema de otimização. Dado que pouco, ou até mesmo nenhum estudo foi ainda realizado nesse sentido utilizando algoritmos de otimização evolucionistas, o presente projeto de pesquisa de pós-doutorado objetiva o emprego e avaliação dessas técnicas no contexto de otimização de hiperparâmetros em arquiteturas de aprendizado em profundidade. Ademais, o projeto de pesquisa objetiva avaliar, também, o classificador por Floresta de Caminhos Ótimos, desenvolvido pelo proponente desta proposta, no âmbito de classificação de dados por meio de aprendizado em profundidade, dado que o mesmo ainda não foi empregado neste contexto. (AU)

Publicações científicas

(23)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

PAPA, JOAO P.; ROSA, GUSTAVO H.; MARANA, APARECIDO N.; SCHEIRER, WALTER; COX, DAVID D.. Model selection for Discriminative Restricted Boltzmann Machines through meta-heuristic techniques. JOURNAL OF COMPUTATIONAL SCIENCE, v. 9, n. SI, p. 14-18, JUL 2015. (14/16250-9, 13/20387-7)

PAPA, JOAO PAULO; NACHIF FERNANDES, SILAS EVANDRO; FALCAO, ALEXANDRE XAVIER. Optimum-Path Forest based on k-connectivity: Theory and applications. PATTERN RECOGNITION LETTERS, v. 87, n. SI, p. 117-126, FEB 1 2017. (14/16250-9, 09/16206-1, 13/20387-7)

PEREIRA, DANILLO R.; DELPIANO, JOSE; PAPA, JOAO P.. On the optical flow model selection through metaheuristics. EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING, MAY 9 2015. (14/16250-9, 13/20387-7)

PIRES, RAFAEL G.; PEREIRA, DANILLO R.; PEREIRA, LUIS A. M.; MANSANO, ALEX F.; PAPA, JOO P.. Projections onto convex sets parameter estimation through harmony search and its application for image restoration. NATURAL COMPUTING, v. 15, n. 3, SI, p. 493-502, SEP 2016. (14/16250-9, 09/16206-1, 11/14094-1, 13/20387-7)

OSAKU, D.; LEVADA, A. L. M.; PAPA, J. P.; BAYROCORROCHANO, E; HANCOCK, E. On the Influence of Markovian Models for Contextual-Based Optimum-Path Forest Classification. PROGRESS IN PATTERN RECOGNITION IMAGE ANALYSIS, COMPUTER VISION, AND APPLICATIONS, CIARP 2014, v. 8827, p. 8-pg., 2014-01-01. (13/20387-7)

PEREIRA, DANILLO R.; PISANI, RODRIGO J.; DE SOUZA, ANDRE N.; PAPA, JOAO P.. An Ensemble-Based Stacked Sequential Learning Algorithm for Remote Sensing Imagery Classification. IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, v. 10, n. 4, p. 1525-1541, APR 2017. (14/16250-9, 13/20387-7, 14/12236-1)

OSAKU, DANIEL; PEREIRA, DANILLO R.; LEVADA, ALEXANDRE L. M.; PAPA, JOAO P.. Fine-Tuning Contextual-Based Optimum-Path Forest for Land-Cover Classification. IEEE Geoscience and Remote Sensing Letters, v. 13, n. 5, p. 735-739, MAY 2016. (14/16250-9, 12/06472-9, 13/20387-7)

PEREIRA, CLAYTON R.; PEREIRA, DANILO R.; SILVA, FRANCISCO A.; MASIEIRO, JOAO P.; WEBER, SILKE A. T.; HOOK, CHRISTIAN; PAPA, JOAO P.. A new computer vision-based approach to aid the diagnosis of Parkinson's disease. COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE, v. 136, p. 79+, NOV 2016. (13/20387-7, 14/16250-9, 09/16206-1)

PASSOS JUNIOR, LEANDRO APARECIDO; OBA RAMOS, CAIO CESAR; RODRIGUES, DOUGLAS; PEREIRA, DANILLO ROBERTO; DE SOUZA, ANDRE NUNES; PONTARA DA COSTA, KELTON AUGUSTO; PAPA, JOAO PAULO. Unsupervised non-technical losses identification through optimum-path forest. Electric Power Systems Research, v. 140, p. 413-423, NOV 2016. (12/14158-2, 09/16206-1, 13/20387-7, 15/00801-9, 14/16250-9)

PEREIRA, DANILLO R.; PAZOTI, MARIO A.; PEREIRA, LUIS A. M.; RODRIGUES, DOUGLAS; RAMOS, CAIO O.; SOUZA, ANDRE N.; PAPA, JOAO P.. Social-Spider Optimization-based Support Vector Machines applied for energy theft detection. COMPUTERS & ELECTRICAL ENGINEERING, v. 49, p. 25-38, JAN 2016. (14/16250-9, 12/06472-9, 13/20387-7)

AMORIM, WILLIAN P.; FALCAO, ALEXANDRE X.; PAPA, JOAO P.; CARVALHO, MARCELO H.. Improving semi-supervised learning through optimum connectivity. PATTERN RECOGNITION, v. 60, p. 72-85, DEC 2016. (14/16250-9, 13/20387-7)

COSTA, KELTON A. P.; PEREIRA, LUIS A. M.; NAKAMURA, RODRIGO Y. M.; PEREIRA, CLAYTON R.; PAPA, JOAO P.; FALCAO, ALEXANDRE XAVIER. A nature-inspired approach to speed up optimum-path forest clustering and its application to intrusion detection in computer networks. INFORMATION SCIENCES, v. 294, p. 95-108, FEB 10 2015. (10/02045-3, 11/14094-1, 09/16206-1, 11/14058-5, 13/20387-7)

PAPA, JOAO PAULO; SCHEIRER, WALTER; COX, DAVID DANIEL. Fine-tuning Deep Belief Networks using Harmony Search. APPLIED SOFT COMPUTING, v. 46, p. 875-885, SEP 2016. (13/20387-7, 14/16250-9)

OSAKU, D.; NAKAMURA, R. Y. M.; PEREIRA, L. A. M.; PISANI, R. J.; LEVADA, A. L. M.; CAPPABIANCO, F. A. M.; FALCO, A. X.; PAPA, JOAO P.. Improving land cover classification through contextual-based optimum-path forest. INFORMATION SCIENCES, v. 324, p. 60-87, DEC 10 2015. (14/16250-9, 09/16206-1, 12/06472-9, 13/20387-7)

PEREIRA, DANILLO R.; DELPIANO, JOSE; PAPA, JOAO P.. On the optical flow model selection through metaheuristics. EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING, v. N/A, p. 10-pg., 2015-05-09. (14/16250-9, 13/20387-7)

PAPA, JOAO P.; ROSA, GUSTAVO H.; MARANA, APARECIDO N.; SCHEIRER, WALTER; COX, DAVID D.. Model selection for Discriminative Restricted Boltzmann Machines through meta-heuristic techniques. JOURNAL OF COMPUTATIONAL SCIENCE, v. 9, p. 5-pg., 2015-07-01. (14/16250-9, 13/20387-7)

AMORIM, WILLIAN P.; FALCAO, ALEXANDRE X.; PAPA, JOAO P.. Multi-label semi-supervised classification through optimum-path forest. INFORMATION SCIENCES, v. 465, p. 86-104, OCT 2018. (14/16250-9, 14/12236-1, 13/20387-7)

PIRES, RAFAEL G.; PEREIRA, DANILLO R.; PEREIRA, LUIS A. M.; MANSANO, ALEX F.; PAPA, JOO P.. Projections onto convex sets parameter estimation through harmony search and its application for image restoration. NATURAL COMPUTING, v. 15, n. 3, p. 10-pg., 2016-09-01. (11/14094-1, 09/16206-1, 13/20387-7, 14/16250-9)

SAITO, PRISCILA T. M.; NAKAMURA, RODRIGO Y. M.; AMORIM, WILLIAN P.; PAPA, JOAO P.; DE REZENDE, PEDRO J.; FALCAO, ALEXANDRE X.. Choosing the Most Effective Pattern Classification Model under Learning-Time Constraint. PLoS One, v. 10, n. 6, JUN 26 2015. (14/16250-9, 11/14058-5, 13/20387-7, 07/52015-0, 12/18768-0)

MARTINS, G. B.; AFONSO, L. C. S.; OSAKU, D.; ALMEIDA, JURANDY; PAPA, J. P.; BAYROCORROCHANO, E; HANCOCK, E. Static Video Summarization through Optimum-Path Forest Clustering. PROGRESS IN PATTERN RECOGNITION IMAGE ANALYSIS, COMPUTER VISION, AND APPLICATIONS, CIARP 2014, v. 8827, p. 8-pg., 2014-01-01. (12/06472-9, 13/20387-7)

PAPA, JOAO PAULO; NACHIF FERNANDES, SILAS EVANDRO; FALCAO, ALEXANDRE XAVIER. Optimum-Path Forest based on k-connectivity: Theory and applications. PATTERN RECOGNITION LETTERS, v. 87, p. 10-pg., 2017-02-01. (14/16250-9, 09/16206-1, 13/20387-7)

PEREIRA, L. A. M.; RODRIGUES, D.; RIBEIRO, P. B.; PAPA, J. P.; WEBER, SILKE A. T.; IEEE. SOCIAL-SPIDER OPTIMIZATION-BASED ARTIFICIAL NEURAL NETWORKS TRAINING AND ITS APPLICATIONS FOR PARKINSON'S DISEASE IDENTIFICATION. 2014 IEEE 27TH INTERNATIONAL SYMPOSIUM ON COMPUTER-BASED MEDICAL SYSTEMS (CBMS), v. N/A, p. 4-pg., 2014-01-01. (13/20387-7, 09/16206-1, 11/14094-1)

RIBEIRO, PATRICIA B.; DA COSTA, KELTON A. P.; PAPA, JOAO P.; ROMERO, ROSELI A. F.; IEEE. Optimum-Path Forest Applied for Breast Masses Classification. 2014 IEEE 27TH INTERNATIONAL SYMPOSIUM ON COMPUTER-BASED MEDICAL SYSTEMS (CBMS), v. N/A, p. 4-pg., 2014-01-01. (13/20387-7, 09/16206-1, 11/14094-1)