Meta-aprendizado aplicado à busca de arquiteturas de redes neurais profundas

• Processo: 19/19994-2
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de dezembro de 2019
• Data de Término da vigência: 31 de março de 2024
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: André Carlos Ponce de Leon Ferreira de Carvalho
• Beneficiário: Gean Trindade Pereira
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Vinculado ao auxílio: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria, AP.CEPID
• Assunto(s): Aprendizado computacional Aprendizagem profunda Visão computacional
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Aprendizado profundo | Busca de Arquiteturas Neurais | Meta-Aprendizado | Redes Neurais Profundas | Visão Computacional | Aprendizado de Máquina

Resumo

O aprendizado profundo tem possibilitado uma série de avanços em tarefas complexas, como a detecção e segmentação de objetos em imagens, classificação de objetos, e a geração de imagens ultrarrealistas. Tal progresso foi possível graças a quantidade massiva de dados disponíveis atualmente e aos hardwares agora capazes de processar tais informações de maneira otimizada. Outro ponto importante foram os mecanismos de extração de características presentes em redes neurais, além das arquiteturas neurais cada vez mais sofisticadas. No entanto, apesar de arquiteturas construídas manualmente terem sido bem-sucedidas ao longo dos anos, essa prática apresenta diversas limitações. Uma delas é o tempo gasto por especialistas no processo de ajuste dos hiper-parâmetros, que poderia ser melhor aproveitado em tarefas menos manuais e que exigem maior conhecimento do especialista. Outra limitação é a falta de uma estratégia automatizada que guie a busca. Geralmente, arquiteturas são definidas em um processo empírico onde não existem mecanismos que auxiliem na tomada de decisão. Além disso, a definição manual limita a qualidade das arquiteturas neurais, que é mediada pelo conhecimento do especialista. Motivadas por essas questões, pesquisas em Busca de Arquiteturas Neurais (em inglês, Neural Architecture Search (NAS)) têm se tornado cada vez mais populares, aonde o foco é automatizar a engenharia de arquiteturas de redes neurais. Métodos de NAS têm sido propostos com base em diferentes estratégias de busca, sendo as mais comuns a otimização bayesiana, algoritmos evolutivos e aprendizado por reforço, o que possibilitou alcançar resultados estado-da-arte para muitas tarefas. Contudo, esses métodos ainda apresentam alto custo computacional. Ademais, fora encontrada pouca pesquisa relacionada ao aproveitamento do conhecimento prévio obtido por modelos de busca e aprendizado aplicado a NAS, o que poderia minimizar o custo dos métodos. Uma forma de aproveitar o conhecimento prévio é por meio de Meta-Aprendizado (em inglês, Meta-Learning (MtL)), cujo propósito é aprender a partir de experiências prévias, ou em outras palavras, aprender a aprender. Considerando esses problemas e a hipótese de que o MtL é uma ferramenta com potencial para resolvê-los, esse projeto pretende investigar abordagens de MtL e sua aplicabilidade em NAS com o objetivo de propor métodos de recomendação de arquiteturas neurais, as quais serão validadas em conjuntos de dados voltados a classificação de imagens. Ao final desse projeto, espera-se que os métodos desenvolvidos gerem novas arquiteturas com bons desempenhos preditivos e complexidades computacionais reduzidas em relação ao estado-da-arte. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

PEREIRA, GEAN T.; SANTOS, IURY B. A.; GARCIA, LUIS P. F.; URRUTY, THIERRY; VISANI, MURIEL; DE CARVALHO, ANDRE C. P. L. F.. Neural architecture search with interpretable meta-features and fast predictors. INFORMATION SCIENCES, v. 649, p. 17-pg., 2023-09-13. (19/19994-2, 20/09835-1)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

PEREIRA, Gean Trindade. Meta-Aprendizado aplicado à Busca de Arquitetura Neural. Rumo à novas abordagens de aprendizagem interativa para indexação e análise de imagens de domínios especializados. 2024. Tese de Doutorado - Universidade de São Paulo (USP). Instituto de Ciências Matemáticas e de Computação (ICMC/SB) São Carlos.