Ajuste de Hiperparâmetros em Redes de Memória de Longo Prazo Utilizando Programação Genética

Resumo

Técnicas de aprendizado de máquina têm sido amplamente utilizadas nas mais diversas aplicações, principalmente aquelas baseadas em aprendizado em profundidade. Entretanto, essas técnicas possuem diversos hiperparâmetros que requerem seu ajuste de maneira personalizada para cada base, sendo essenciais para um bom desempenho da técnica. O presente projeto de pesquisa objetiva introduzir uma abordagem baseada em Programação Genética (Genetic Programming - GP) para o ajuste fino de hiperparâmetros de redes neurais recorrentes. Mais especificamente, serão otimizadas a representação das palavras, número de camadas LSTM, número de unidades escondidas e tamanho do lote de palavras processado por vez para redes LSTMs (Long Short-Term Memory), sendo os resultados validados em bases de dados de textos. A tarefa a ser estudada é o reconhecimento de classe gramatical de palavras, conhecida como Part-of-Speech (POS) Tagging. Para fins de comparação, serão utilizadas bases de dados públicas amplamente conhecidas, como o corpus Brown. Ademais, o projeto também conta com um período de estágio no exterior via programa FAPESP - Bolsa de Estágio e Pesquisa no Exterior (BEPE).