Seleção multi-objetivo ótima de conjunto de dados para avaliação não enviesada e eficiente de algoritmos de aprendizagem de máquina

• Processo: 23/10419-0
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Pós-Doutorado
• Vigência (Início): 01 de janeiro de 2024
• Vigência (Término): 31 de dezembro de 2024
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Ana Carolina Lorena
• Beneficiário: João Luiz Junho Pereira
• Supervisor: Kate Smith-Miles
• Instituição Sede: Divisão de Ciência da Computação (IEC). Instituto Tecnológico de Aeronáutica (ITA). Ministério da Defesa (Brasil). São José dos Campos , SP, Brasil
• Local de pesquisa: University of Melbourne, Austrália
• Vinculado à bolsa: 22/10683-7 - Meu benchmark de conjuntos de dados é desafiador o suficiente?, BP.PD
• Assunto(s): Aprendizado computacional Inteligência artificial Meta-heurística Otimização Meta-aprendizado computacional
• Palavra(s)-Chave do Pesquisador: Aprendizagem de Maquina | Inteligência Artificial | Meta-aprendizagem | meta-heurísticas | otimização | Inteligência Artificial

Resumo

A Inteligência Artificial revolucionou diversas áreas do conhecimento humano e tornou-se muito popular na última década. Os algoritmos de Aprendizagem de Máquina (ML) supervisionados são os principais protagonistas dessa revolução e sempre que um novo algoritmo de ML supervisionado é desenvolvido ou apresentado, é crucial avaliar seu desempenho preditivo em diversos conjuntos de dados para identificar seus pontos fortes e fracos e situações em que pode ser mais útil. No entanto, a literatura atual mostra que os conjuntos de dados para testá-los são normalmente coletados de repositórios públicos, sendo a seleção muitas vezes ad-hoc e sem critérios específicos. Estudos são necessários para propor conjuntos de dados de referência que avaliem adequadamente os algoritmos de ML. Já iniciaram estudos na Bolsa de Pós-doutorado unindo duas grandes e complexas áreas: meta-aprendizagem e otimização. O primeiro identifica as principais características e aspectos gerais de cada conjunto de dados, relacionando-os com o desempenho preditivo dos modelos de ML, enquanto o último pode ser aplicado sobre essas informações para selecionar um subconjunto de conjuntos de dados que melhor responda a um ou mais objetivos definidos. Numerosos estudos podem ser feitos variando os objetivos e técnicas de otimização, em particular a aplicação de otimização multi-objetivo, onde várias soluções ditas não dominadas são encontradas e sua seleção requer ferramentas complexas de tomada de decisão. Enquanto o grupo australiano da Universidade de Melbourne tem trabalhado extensivamente na análise de benchmarks de teste por meta-aprendizagem, a equipe brasileira tem interesse em otimizar a seleção de subconjuntos de conjuntos de dados que são diversos o suficiente para desafiar os algoritmos de ML de diferentes maneiras, pavimentandoo caminho para uma melhor caracterização dos domínios de competência de cada algoritmo. Esta proposta de BEPE visa reunir ambas as equipes para avançar nesta escassa e necessária fronteira de conhecimento para melhorar a confiabilidade no uso de modelos de ML. (AU)