Meu benchmark de conjuntos de dados é desafiador o suficiente?

• Processo: 22/10683-7
• Modalidade de apoio: Bolsas no Brasil - Pós-Doutorado
• Data de Início da vigência: 01 de setembro de 2022
• Data de Término da vigência: 26 de março de 2025
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Ana Carolina Lorena
• Beneficiário: João Luiz Junho Pereira
• Instituição Sede: Divisão de Ciência da Computação (IEC). Instituto Tecnológico de Aeronáutica (ITA). Ministério da Defesa (Brasil). São José dos Campos , SP, Brasil
• Vinculado ao auxílio: 21/06870-3 - Além da seleção de algoritmos: meta-aprendizado para análise e entendimento de dados e algoritmos, AP.JP2
• Bolsa(s) vinculada(s): 23/10419-0 - Seleção multi-objetivo ótima de conjunto de dados para avaliação não enviesada e eficiente de algoritmos de aprendizagem de máquina, BE.EP.PD
• Assunto(s): Inteligência artificial Aprendizado computacional Meta-aprendizado computacional Benchmarks Conjunto de dados
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Meta-Aprendizado | Inteligência Artificial

Resumo

Sempre que um novo algoritmo ou solução de Aprendizado de Máquina (AM) supervisionado é desenvolvido, é imperativo avaliar o desempenho preditivo que ele atinge para diversos conjuntos de dados. Isso é feito para enfatizar os pontos fortes e fracos dos algoritmos e evidenciar para quais situações eles são mais úteis. Uma prática comum é reunir alguns conjuntos de dados de repositórios públicos de benchmark para tal avaliação. Mas pouco ou nenhum critério específico é usado na seleção desses conjuntos de dados, o que geralmente é feito de maneira ad-hoc. Neste projeto, investigaremos a importância de construir adequadamente um benchmark diversificado e desafiador de conjuntos de dados para avaliar adequadamente os modelos de AM e realmente entender suas capacidades. (AU)

Publicações científicas

(13)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

DE SOUZA MELLO, FELIPE MARTARELLA; PEREIRA, JOAO LUIZ JUNHO; GOMES, GUILHERME FERREIRA. Multi-objective sensor placement optimization in SHM systems with Kriging-based mode shape interpolation. Journal of Sound and Vibration, v. 568, p. 25-pg., 2023-09-29. (22/10683-7)

PEREIRA, JOAO LUIZ JUNHO; GUEDES, FELIPE CIOLINI; FRANCISCO, MATHEUS BRENDON; CHIARELLO, ANDRE GARCIA; GOMES, GUILHERME FERREIRA. Multi-objective design optimization of a high performance disk brake using lichtenberg algorithm. MECHANICS BASED DESIGN OF STRUCTURES AND MACHINES, v. N/A, p. 14-pg., 2023-04-01. (22/10683-7)

PEREIRA, JOAO LUIZ JUNHO; MA, BENEDICT JUN; FRANCISCO, MATHEUS BRENDON; RIBEIRO JR, RONNY FRANCIS; GOMES, GUILHERME FERREIRA. A comparison between chaos theory and Levy flights in sunflower optimization for feature selection. EXPERT SYSTEMS, v. 40, n. 8, p. 21-pg., 2023-04-30. (22/10683-7)

SOROMOTIN, ANDREY, V; MARTYUSHEV, DMITRIY A.; PEREIRA, JOAO LUIZ JUNHO. On the application of machine learning algorithms in predicting the permeability of oil reservoirs. ARTIFICIAL INTELLIGENCE IN GEOSCIENCES, v. 6, n. 2, p. 23-pg., 2025-06-21. (22/10683-7, 23/10419-0)

NOGUEIRA, FELIPE SALES; PEREIRA, JOAO LUIZ JUNHO; CUNHA JR, SEBASTIAO SIMOES. Multi-objective sensor placement optimization and damage identification for an aircraft wing using Lichtenberg algorithm. ENGINEERING COMPUTATIONS, v. 41, n. 2, p. 30-pg., 2024-04-05. (22/10683-7, 23/10419-0)

BENDINE, KOUIDER; PEREIRA, JOAO LUIZ JUNHO; GOMES, GUILHERME FERREIRA. Energy harvesting enhancement of nonuniform functionally graded piezoelectric beam using artificial neural networks and Lichtenberg algorithm. STRUCTURES, v. 57, p. 14-pg., 2023-09-22. (22/10683-7)

PEREIRA, JOAO LUIZ JUNHO; FRANCISCO, MATHEUS BRENDON; DE ALMEIDA, FABRICIO ALVES; MA, BENEDICT JUN; CUNHA, SEBASTIAO SIMOES; GOMES, GUILHERME FERREIRA. Enhanced Lichtenberg algorithm: a discussion on improving meta-heuristics. SOFT COMPUTING, v. N/A, p. 29-pg., 2023-07-06. (22/10683-7)

GONTIJO, R. G.; OSSEGE, F. E. L.; PEREIRA, J. L. J.. Evaluation of machine learning algorithms in the prediction of key therapeutic quantities in magnetic hyperthermia. COMPUTERS & MATHEMATICS WITH APPLICATIONS, v. 194, p. 17-pg., 2025-09-15. (22/10683-7, 23/10419-0)

SOTOMONTE, CESAR; PEREIRA, JOAO; FRANCISCO, MATHEUS; DE SOUZA, TULIO; PINTO, GABRIEL; JULIO, ALISSON; BUNYA, BRUNO; CORONADO, CHRISTIAN; PALACIO, JOSE; GOMES, GUILHERME. ENERGY MINIMIZATION OF HYDROGEN PRODUCTION VIA BUTANOL STEAM REFORMING. ENVIRONMENTAL ENGINEERING AND MANAGEMENT JOURNAL, v. 22, n. 3, p. 201-pg., 2023-03-01. (22/10683-7)

DE OLIVEIRA, LUCAS ANTONIO; GOMES, GUILHERME FERREIRA; PEREIRA, JOAO LUIZ JUNHO; FRANCISCO, MATHEUS BRENDON; DEMARBAIX, ANTHONIN; CUNHA JR, SEBASTIAO SIMOES. New Trends of Damage Detection and Identification Based on Vibrothermography in Composite Materials. JOURNAL OF NONDESTRUCTIVE EVALUATION, v. 42, n. 3, p. 16-pg., 2023-09-01. (22/10683-7)

GOMES, GUILHERME FERREIRA; BENDINE, KOUIDER; PEREIRA, JOAO LUIZ JUNHO. Optimization and artificial intelligence: An in-depth analysis of multi-objective optimization, sampling methods, and regression algorithms applied to structural design. MECHANICS BASED DESIGN OF STRUCTURES AND MACHINES, v. N/A, p. 28-pg., 2025-03-18. (22/10683-7, 23/10419-0)

PEREIRA, JOAO LUIZ JUNHO; SMITH-MILES, KATE; MUNOZ, MARIO ANDRES; LORENA, ANA CAROLINA. Optimal selection of benchmarking datasets for unbiased machine learning algorithm evaluation. DATA MINING AND KNOWLEDGE DISCOVERY, v. 38, n. 2, p. 40-pg., 2023-10-20. (21/06870-3, 22/10683-7)

GOMES, GUILHERME FERREIRA; RIBEIRO JUNIOR, RONNY FRANCIS RIBEIRO; PEREIRA, JOAO LUIZ JUNHO; FRANCISCO, MATHEUS BRENDON. An efficient deep learning model to predict the structural response of CFRP isogrid tubes. COMPOSITE STRUCTURES, v. 316, p. 17-pg., 2023-04-28. (22/10683-7)