Seleção de Variáveis Escalável para Métodos baseados em Espaços de Hilbert de reprodução

Resumo

Métodos baseados em Espaços de Hilbert de reprodução (EHR) constituem uma ampla família de modelos de aprendizado estatístico que se fundamentam na noção de um núcleo, que pode ser interpretado como uma medida de similaridade entre observações dos dados. Por exemplo, a regressão ridge, máquinas de vetores de suporte - incluindo as suas versões com núcleos - e splines suavizadores podem ser traduzidos em um problema genérico de otimização de funções em EHRs. Todavia, estes métodos padecem de duas desvantagens principais. Primeiro, eles envolvem a inversão de uma matriz do núcleo n por n (com n o tamanho da amostra), um processo que numericamente escala como O(n^{2.3-3}), sendo computacionalmente caro. Felizmente, este problema pode ser abordado aproximando a matriz do núcleo por "Random Fourier Features", como descrito em Rahimi e Recht (2007). Em segundo lugar, como a maioria dos núcleos adotados são isotrópicos, métodos baseados em EHRs não realizam seleção de variáveis automaticamente, incorrendo em performance ruim nas aplicações com muitos atributos. Nosso objetivo principal é estender o arcabouço de Ramihi e Recht para núcleos não-isotrópicos, construir uma rede neural para otimizar os parâmetros de seleção de variáveis (por exemplo, larguras de banda num núcleo gaussiano) e aplicar o modelo resultante para diversos conjuntos de dados de teste consolidados.