Seleção de Variáveis Escalável para Métodos baseados em Espaços de Hilbert de reprodução

• Processo: 21/02178-8
• Modalidade de apoio: Bolsas no Brasil - Mestrado
• Data de Início da vigência: 01 de outubro de 2021
• Data de Término da vigência: 31 de março de 2023
• Área de conhecimento: Ciências Exatas e da Terra - Probabilidade e Estatística - Estatística
• Pesquisador responsável: Rafael Izbicki
• Beneficiário: Mateus Piovezan Otto
• Instituição Sede: Centro de Ciências Exatas e de Tecnologia (CCET). Universidade Federal de São Carlos (UFSCAR). São Carlos , SP, Brasil
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina Estatístico | espaços de Hilbert de reprodução | núcleos de Mercer | Seleção de variáveis | Aprendizado de Máquina Estatístico

Resumo

Métodos baseados em Espaços de Hilbert de reprodução (EHR) constituem uma ampla família de modelos de aprendizado estatístico que se fundamentam na noção de um núcleo, que pode ser interpretado como uma medida de similaridade entre observações dos dados. Por exemplo, a regressão ridge, máquinas de vetores de suporte - incluindo as suas versões com núcleos - e splines suavizadores podem ser traduzidos em um problema genérico de otimização de funções em EHRs. Todavia, estes métodos padecem de duas desvantagens principais. Primeiro, eles envolvem a inversão de uma matriz do núcleo n por n (com n o tamanho da amostra), um processo que numericamente escala como O(n^{2.3-3}), sendo computacionalmente caro. Felizmente, este problema pode ser abordado aproximando a matriz do núcleo por "Random Fourier Features", como descrito em Rahimi e Recht (2007). Em segundo lugar, como a maioria dos núcleos adotados são isotrópicos, métodos baseados em EHRs não realizam seleção de variáveis automaticamente, incorrendo em performance ruim nas aplicações com muitos atributos. Nosso objetivo principal é estender o arcabouço de Ramihi e Recht para núcleos não-isotrópicos, construir uma rede neural para otimizar os parâmetros de seleção de variáveis (por exemplo, larguras de banda num núcleo gaussiano) e aplicar o modelo resultante para diversos conjuntos de dados de teste consolidados.

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

OTTO, Mateus Piovezan. Métodos de kernel escaláveis e interpretáveis baseados em random Fourier features. 2023. Dissertação de Mestrado - Universidade de São Paulo (USP). Instituto de Ciências Matemáticas e de Computação (ICMC/SB) São Carlos.