Estimadores de Transferibilidade para Transferência de Aprendizado de Forma Eficiente

• Processo: 24/16685-7
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de janeiro de 2025
• Data de Término da vigência: 28 de fevereiro de 2026
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Sandra Eliza Fontes de Avila
• Beneficiário: Levy Gurgel Chaves
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Vinculado ao auxílio: 23/12086-9 - Araceli: Inteligência Artificial no Combate ao Abuso Sexual Infantil, AP.R
• Assunto(s): Aprendizado computacional Inteligência artificial Multimodalidade Redes neurais
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Estimadores de transferibilidade | Inteligência Artificial | Multimodalidade | Redes neurais | transferência de aprendizagem | Inteligência Artificial

Resumo

No cenário em constante evolução de aprendizado profundo, tornou-se um desafio selecionar os melhores modelos pré-treinados para uma determinada tarefa a partir de um número crescente de opções. Para cada modelo de rede neural disponível durante a transferência de conhecimento, é comum executar a etapa de ajuste fino e depois computar uma métrica de desempenho para obter um ranqueamento dos melhores modelos. Contudo, esta abordagem muitas vezes é inviável devido à necessidade de altos recursos computacionais. A literatura sobre estimativa de transferibilidade apresenta uma solução eficiente para esse problema por meio de estimadores que avaliam o potencial de um modelo para uma tarefa alvo, dispensando a etapa de ajuste fino. Este projeto de doutorado visa elaborar diretrizes sólidas para a literatura de estimadores de transferibilidade, incluindo metodologias de avaliação padronizadas, definição de bases de comparação, além de novos estimadores. Ao entender melhor como as diferentes soluções existentes se comportam em diversos cenários de transferência de aprendizado, podemos fornecer recomendações para a comunidade. Nossos resultados iniciais incluem um conjunto de 13 estimadores presentes na literatura avaliados em 11 conjuntos de dados, englobando tarefas generalistas, de conhecimento específico e contexto médico. Nosso objetivo é estabelecer recomendações e diretrizes para futuras pesquisas sobre estimadores de transferibilidade. A nossa pesquisa futura envolve expandir a literatura para modelos multimodais de visão e linguagem. Especificamente, planejamos projetar estimadores para modelos multimodais baseados em arquiteturas CLIP e capazes de ranquear o desempenho em tarefas de classificação e recuperação de imagem-texto.