Meta-aprendizado aplicado à busca de arquiteturas de redes neurais profundas

Resumo

O aprendizado profundo tem possibilitado uma série de avanços em tarefas complexas, como a detecção e segmentação de objetos em imagens, classificação de objetos, e a geração de imagens ultrarrealistas. Tal progresso foi possível graças a quantidade massiva de dados disponíveis atualmente e aos hardwares agora capazes de processar tais informações de maneira otimizada. Outro ponto importante foram os mecanismos de extração de características presentes em redes neurais, além das arquiteturas neurais cada vez mais sofisticadas. No entanto, apesar de arquiteturas construídas manualmente terem sido bem-sucedidas ao longo dos anos, essa prática apresenta diversas limitações. Uma delas é o tempo gasto por especialistas no processo de ajuste dos hiper-parâmetros, que poderia ser melhor aproveitado em tarefas menos manuais e que exigem maior conhecimento do especialista. Outra limitação é a falta de uma estratégia automatizada que guie a busca. Geralmente, arquiteturas são definidas em um processo empírico onde não existem mecanismos que auxiliem na tomada de decisão. Além disso, a definição manual limita a qualidade das arquiteturas neurais, que é mediada pelo conhecimento do especialista. Motivadas por essas questões, pesquisas em Busca de Arquiteturas Neurais (em inglês, Neural Architecture Search (NAS)) têm se tornado cada vez mais populares, aonde o foco é automatizar a engenharia de arquiteturas de redes neurais. Métodos de NAS têm sido propostos com base em diferentes estratégias de busca, sendo as mais comuns a otimização bayesiana, algoritmos evolutivos e aprendizado por reforço, o que possibilitou alcançar resultados estado-da-arte para muitas tarefas. Contudo, esses métodos ainda apresentam alto custo computacional. Ademais, fora encontrada pouca pesquisa relacionada ao aproveitamento do conhecimento prévio obtido por modelos de busca e aprendizado aplicado a NAS, o que poderia minimizar o custo dos métodos. Uma forma de aproveitar o conhecimento prévio é por meio de Meta-Aprendizado (em inglês, Meta-Learning (MtL)), cujo propósito é aprender a partir de experiências prévias, ou em outras palavras, aprender a aprender. Considerando esses problemas e a hipótese de que o MtL é uma ferramenta com potencial para resolvê-los, esse projeto pretende investigar abordagens de MtL e sua aplicabilidade em NAS com o objetivo de propor métodos de recomendação de arquiteturas neurais, as quais serão validadas em conjuntos de dados voltados a classificação de imagens. Ao final desse projeto, espera-se que os métodos desenvolvidos gerem novas arquiteturas com bons desempenhos preditivos e complexidades computacionais reduzidas em relação ao estado-da-arte. (AU)