Sobre a otimização de parâmetros em técnicas de aprendizado de máquina: avanços e paradigmas

• Processo: 14/16250-9
• Linha de fomento: Auxílio à Pesquisa - Regular
• Vigência: 01 de março de 2015 - 31 de agosto de 2017
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: João Paulo Papa
• Beneficiário: João Paulo Papa
• Instituição-sede: Faculdade de Ciências (FC). Universidade Estadual Paulista (UNESP). Campus de Bauru. Bauru , SP, Brasil
• Pesq. associados: André Carlos Ponce de Leon Ferreira de Carvalho ; André Fujita ; Xin-She Yang
• Auxílios(s) vinculado(s): 16/50448-6 - Where do machine learning and optimization meet?, AP.R SPRINT; 16/50022-9 - Development of cardiovascular disease and diabetes risk assessment model for ethnically diverse populations, AP.R SPRINT
• Assunto(s): Redes neurais (computação) Aprendizado computacional Reconhecimento de padrões Meta-heurística Algoritmos

Resumo

Técnicas de aprendizado de máquina tem sido bastante empregadas nos últimos anos em diversas área de pesquisa. Embora sejam conhecidas pelo seu alto poder de generalização, muitas dessas técnicas são paramétricas, o que resulta em um alto custo computacional para o aprendizado desse conjunto de parâmetros, tornando seu emprego inviável em aplicações que envolvem grandes bases de dados e situações onde a resposta ao usuário deve ser dada em tempo real. O presente projeto de pesquisa visa o estudo de técnicas de otimização por meta-heurísticas mono e multi-objetivos e suas aplicações para otimização de arquiteturas de aprendizado de máquina, tais como seleção de modelos e funções de núcleo (kernels), seleção de características e fusão de informações, dentre outras aplicações. A proposta objetiva também investigar a viabilidade da otimização de parâmetros em arquiteturas de aprendizado em profundidade com vistas à sua eficiência e eficácia, principalmente em Redes Neurais por Convolução, Máquinas de Boltzmann Restritas, Redes de Crença por Profundidade e Auto-codificadores. Este projeto focará, principalmente, em abordagens de otimização multi-objetivos, dado que muito pouco trabalho nessa área tem sido realizado com vistas ao aprendizado de parâmetros em abordagens de reconhecimento de padrões, por exemplo. A proposta também conta com a presença do Prof. Dr. Xin-She Yang (Middlesex University, Inglatera), o qual é um pesquisador bastante ativo na área de otimização por meta-heurísticas, sendo que os novos algoritmos recentemente desenvolvidos por ele serão utilizados e validados pela presente proposta de projeto de pesquisa. (AU)

Publicações científicas

(37)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

RODRIGUES, DOUGLAS; DE ALBUQUERQUE, VICTOR HUGO C.; PAPA, JOAO PAULO. A multi-objective artificial butterfly optimization approach for feature selection. APPLIED SOFT COMPUTING, v. 94, SEP 2020. Citações Web of Science: 0.

CULQUICONDOR, ALDO; BALDASSIN, ALEXANDRO; CASTELO-FERNANDEZ, CESAR; DE CARVALHO, JOAO P. L.; PAPA, JOAO PAULO. An efficient parallel implementation for training supervised optimum-path forest classifiers. Neurocomputing, v. 393, p. 259-268, JUN 14 2020. Citações Web of Science: 0.

IWASHITA, ADRIANA SAYURI; DE ALBUQUERQUE, VICTOR HUGO C.; PAPA, JOAO PAULO. Learning concept drift with ensembles of optimum-path forest-based classifiers. FUTURE GENERATION COMPUTER SYSTEMS-THE INTERNATIONAL JOURNAL OF ESCIENCE, v. 95, p. 198-211, JUN 2019. Citações Web of Science: 1.

FERNANDES, SILAS E. N.; PEREIRA, DANILLO R.; RAMOS, CAIO C. O.; SOUZA, ANDRE N.; GASTALDELLO, DANILO S.; PAPA, JOAO P. A Probabilistic Optimum-Path Forest Classifier for Non-Technical Losses Detection. IEEE TRANSACTIONS ON SMART GRID, v. 10, n. 3, p. 3226-3235, MAY 2019. Citações Web of Science: 1.

NACHIF FERNANDES, SILAS EVANDRO; PAPA, JOAO PAULO. Improving optimum-path forest learning using bag-of-classifiers and confidence measures. PATTERN ANALYSIS AND APPLICATIONS, v. 22, n. 2, p. 703-716, MAY 2019. Citações Web of Science: 1.

PEREIRA, CLAYTON R.; PEREIRA, DANILO R.; WEBER, SILKE A. T.; HOOK, CHRISTIAN; DE ALBUQUERQUE, VICTOR HUGO C.; PAPA, JOAO P. A survey on computer-assisted Parkinson's Disease diagnosis. ARTIFICIAL INTELLIGENCE IN MEDICINE, v. 95, p. 48-63, APR 2019. Citações Web of Science: 7.

GUIMARAES, RANIERE ROCHA; PASSOS JR, LEANDRO A.; HOLANDA FILHO, RAIMIR; DE ALBUQUERQUE, VICTOR HUGO C.; RODRIGUES, JOEL J. P. C.; KOMAROV, MIKHAIL M.; PAPA, JOAO PAULO. Intelligent Network Security Monitoring Based on Optimum-Path Forest Clustering. IEEE NETWORK, v. 33, n. 2, p. 126-131, MAR-APR 2019. Citações Web of Science: 2.

PASSOS, LEANDRO A.; DE SOUZA, JR., LUIS A.; MENDEL, ROBERT; EBIGBO, ALANNA; PROBST, ANDREAS; MESSMANN, HELMUT; PALM, CHRISTOPH; PAPA, JOAO PAULO. Barrett's esophagus analysis using infinity Restricted Boltzmann Machines. JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION, v. 59, p. 475-485, FEB 2019. Citações Web of Science: 0.

PEREIRA, LUIS A. M.; PAPA, JOAO P.; COELHO, ANDRE L. V.; LIMA, CLODOALDO A. M.; PEREIRA, DANILLO R.; DE ALBUQUERQUE, VICTOR HUGO C. Automatic identification of epileptic EEG signals through binary magnetic optimization algorithms. NEURAL COMPUTING & APPLICATIONS, v. 31, n. 2, p. 1317-1329, FEB 2019. Citações Web of Science: 0.

REBOUCAS FILHO, PEDRO P.; DA SILVA BARROS, ANTONIO C.; RAMALHO, GERALDO L. B.; PEREIRA, CLAYTON R.; PAPA, JOAO PAULO; DE ALBUQUERQUE, VICTOR HUGO C.; TAVARES, JOAO MANUEL R. S. Automated recognition of lung diseases in CT images based on the optimum-path forest classifier. NEURAL COMPUTING & APPLICATIONS, v. 31, n. 2, p. 901-914, FEB 2019. Citações Web of Science: 2.

IWASHITA, ADRIANA SAYURI; PAPA, JOAO PAULO. An Overview on Concepts Drift Learning. IEEE ACCESS, v. 7, p. 1532-1547, 2019. Citações Web of Science: 0.

AMORIM, WILLIAN P.; FALCAO, ALEXANDRE X.; PAPA, JOAO P. Multi-label semi-supervised classification through optimum-path forest. INFORMATION SCIENCES, v. 465, p. 86-104, OCT 2018. Citações Web of Science: 4.

DE ROSA, GUSTAVO H.; PAPA, JOAO P.; YANG, XIN-S. Handling dropout probability estimation in convolution neural networks using meta-heuristics. SOFT COMPUTING, v. 22, n. 18, SI, p. 6147-6156, SEP 2018. Citações Web of Science: 0.

PASSOS, JR., LEANDRO APARECIDO; PAPA, JOAO PAULO. Temperature-Based Deep Boltzmann Machines. NEURAL PROCESSING LETTERS, v. 48, n. 1, p. 95-107, AUG 2018. Citações Web of Science: 1.

PEREIRA, CLAYTON R.; PEREIRA, DANILO R.; ROSA, GUSTAVO H.; ALBUQUERQUE, VICTOR H. C.; WEBER, SILKE A. T.; HOOK, CHRISTIAN; PAPA, JOAO P. Handwritten dynamics dynamics assessment through convolutional neural networks: An application to Parkinson's disease identification. ARTIFICIAL INTELLIGENCE IN MEDICINE, v. 87, p. 67-77, MAY 2018. Citações Web of Science: 15.

DE ALBUQUERQUE, VICTOR HUGO C.; NUNES, THIAGO M.; PEREIRA, DANILLO R.; LUZ, EDUARDO JOSE DA S.; MENOTTI, DAVID; PAPA, JOAO P.; TAVARES, JOAO MANUEL R. S. Robust automated cardiac arrhythmia detection in ECG beat signals. NEURAL COMPUTING & APPLICATIONS, v. 29, n. 3, p. 679-693, FEB 2018. Citações Web of Science: 20.

PEREIRA, DANILLO ROBERTO; PAPA, JOAO PAULO; ROSALIN SARAIVA, GUSTAVO FRANCISCO; SOUZA, GUSTAVO MAIA. Automatic classification of plant electrophysiological responses to environmental stimuli using machine learning and interval arithmetic. COMPUTERS AND ELECTRONICS IN AGRICULTURE, v. 145, p. 35-42, FEB 2018. Citações Web of Science: 6.

PAPA, JOAO PAULO; ROSA, GUSTAVO HENRIQUE; PAPA, LUCIENE PATRICI. A binary-constrained Geometric Semantic Genetic Programming for feature selection purposes. PATTERN RECOGNITION LETTERS, v. 100, p. 59-66, DEC 1 2017. Citações Web of Science: 3.

RODRIGUES, DOUGLAS; PAPA, JOAO P.; ADELI, HOJJAT. Meta-heuristic multi- and many-objective optimization techniques for solution of machine learning problems. EXPERT SYSTEMS, v. 34, n. 6 DEC 2017. Citações Web of Science: 2.

PAPA, JOAO PAULO; ROSA, GUSTAVO H.; PEREIRA, DANILLO R.; YANG, XIN-SHE. Quaternion-based Deep Belief Networks fine-tuning. APPLIED SOFT COMPUTING, v. 60, p. 328-335, NOV 2017. Citações Web of Science: 6.

PEREIRA, DANILLO R.; PISANI, RODRIGO J.; DE SOUZA, ANDRE N.; PAPA, JOAO P. An Ensemble-Based Stacked Sequential Learning Algorithm for Remote Sensing Imagery Classification. IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, v. 10, n. 4, p. 1525-1541, APR 2017. Citações Web of Science: 0.

PAPA, JOAO PAULO; NACHIF FERNANDES, SILAS EVANDRO; FALCAO, ALEXANDRE XAVIER. Optimum-Path Forest based on k-connectivity: Theory and applications. PATTERN RECOGNITION LETTERS, v. 87, n. SI, p. 117-126, FEB 1 2017. Citações Web of Science: 17.

NACHIF FERNANDES, SILAS EVANDRO; DE SOUZA, ANDRE NUNES; GASTALDELLO, DANILO SINKITI; PEREIRA, DANILLO ROBERTO; PAPA, JOAO PAULO. Pruning optimum-path forest ensembles using metaheuristic optimization for land-cover classification. International Journal of Remote Sensing, v. 38, n. 20, p. 5736-5762, 2017. Citações Web of Science: 2.

AMORIM, WILLIAN P.; FALCAO, ALEXANDRE X.; PAPA, JOAO P.; CARVALHO, MARCELO H. Improving semi-supervised learning through optimum connectivity. PATTERN RECOGNITION, v. 60, p. 72-85, DEC 2016. Citações Web of Science: 12.

RODRIGUES, DOUGLAS; SILVA, GABRIEL F. A.; PAPA, JOAO P.; MARANA, APARECIDO N.; YANG, XIN-SHE. EEG-based person identification through Binary Flower Pollination Algorithm. EXPERT SYSTEMS WITH APPLICATIONS, v. 62, p. 81-90, NOV 15 2016. Citações Web of Science: 36.

PEREIRA, DANILLO ROBERTO; PAPA, JOAO PAULO. A new approach to contextual learning using interval arithmetic and its applications for land-use classification. PATTERN RECOGNITION LETTERS, v. 83, n. 2, p. 188-194, NOV 1 2016. Citações Web of Science: 3.

PASSOS JUNIOR, LEANDRO APARECIDO; OBA RAMOS, CAIO CESAR; RODRIGUES, DOUGLAS; PEREIRA, DANILLO ROBERTO; DE SOUZA, ANDRE NUNES; PONTARA DA COSTA, KELTON AUGUSTO; PAPA, JOAO PAULO. Unsupervised non-technical losses identification through optimum-path forest. Electric Power Systems Research, v. 140, p. 413-423, NOV 2016. Citações Web of Science: 10.

PEREIRA, CLAYTON R.; PEREIRA, DANILO R.; SILVA, FRANCISCO A.; MASIEIRO, JOAO P.; WEBER, SILKE A. T.; HOOK, CHRISTIAN; PAPA, JOAO P. A new computer vision-based approach to aid the diagnosis of Parkinson's disease. COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE, v. 136, p. 79+, NOV 2016. Citações Web of Science: 14.

TURESSON, HJALMAR K.; RIBEIRO, SIDARTA; PEREIRA, DANILLO R.; PAPA, JOAO P.; DE ALBUQUERQUE, VICTOR HUGO C. Machine Learning Algorithms for Automatic Classification of Marmoset Vocalizations. PLoS One, v. 11, n. 9 SEP 21 2016. Citações Web of Science: 11.

PAPA, JOAO PAULO; SCHEIRER, WALTER; COX, DAVID DANIEL. Fine-tuning Deep Belief Networks using Harmony Search. APPLIED SOFT COMPUTING, v. 46, p. 875-885, SEP 2016. Citações Web of Science: 32.

PIRES, RAFAEL G.; PEREIRA, DANILLO R.; PEREIRA, LUIS A. M.; MANSANO, ALEX F.; PAPA, JOO P. Projections onto convex sets parameter estimation through harmony search and its application for image restoration. NATURAL COMPUTING, v. 15, n. 3, SI, p. 493-502, SEP 2016. Citações Web of Science: 3.

OSAKU, DANIEL; PEREIRA, DANILLO R.; LEVADA, ALEXANDRE L. M.; PAPA, JOAO P. Fine-Tuning Contextual-Based Optimum-Path Forest for Land-Cover Classification. IEEE Geoscience and Remote Sensing Letters, v. 13, n. 5, p. 735-739, MAY 2016. Citações Web of Science: 1.

PEREIRA, DANILLO R.; PAZOTI, MARIO A.; PEREIRA, LUIS A. M.; RODRIGUES, DOUGLAS; RAMOS, CAIO O.; SOUZA, ANDRE N.; PAPA, JOAO P. Social-Spider Optimization-based Support Vector Machines applied for energy theft detection. COMPUTERS & ELECTRICAL ENGINEERING, v. 49, p. 25-38, JAN 2016. Citações Web of Science: 15.

OSAKU, D.; NAKAMURA, R. Y. M.; PEREIRA, L. A. M.; PISANI, R. J.; LEVADA, A. L. M.; CAPPABIANCO, F. A. M.; FALCO, A. X.; PAPA, JOAO P. Improving land cover classification through contextual-based optimum-path forest. INFORMATION SCIENCES, v. 324, p. 60-87, DEC 10 2015. Citações Web of Science: 12.

PAPA, JOAO P.; ROSA, GUSTAVO H.; MARANA, APARECIDO N.; SCHEIRER, WALTER; COX, DAVID D. Model selection for Discriminative Restricted Boltzmann Machines through meta-heuristic techniques. JOURNAL OF COMPUTATIONAL SCIENCE, v. 9, n. SI, p. 14-18, JUL 2015. Citações Web of Science: 22.

SAITO, PRISCILA T. M.; NAKAMURA, RODRIGO Y. M.; AMORIM, WILLIAN P.; PAPA, JOAO P.; DE REZENDE, PEDRO J.; FALCAO, ALEXANDRE X. Choosing the Most Effective Pattern Classification Model under Learning-Time Constraint. PLoS One, v. 10, n. 6 JUN 26 2015. Citações Web of Science: 3.

PEREIRA, DANILLO R.; DELPIANO, JOSE; PAPA, JOAO P. On the optical flow model selection through metaheuristics. EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING, MAY 9 2015. Citações Web of Science: 3.