Otimização Meta-Heurística para Regularização de Modelos de Aprendizado em Profundidade

Autor(es)

Gustavo Henrique de Rosa

• Tipo de documento: Dissertação de Mestrado
• Imprenta: São José do Rio Preto. 2018-08-30.
• Instituição: Universidade Estadual Paulista (Unesp). Instituto de Biociências Letras e Ciências Exatas. São José do Rio Preto
• Data de defesa: 2018-08-28
• Orientador: João Paulo Papa

Resumo

Arquiteturas de aprendizado em profundidade têm sido amplamente estudadas nos últimos anos, principalmente pelo seu alto poder discriminativo em muitos problemas considerados essenciais na área de visão computacional. Entretanto, um problema destes modelos diz res- peito ao grande número de parâmetros a serem ajustados, que podem chegar a milhares. Um outro ponto crítico está relacionado à necessidade de grandes bases de dados para treinar essas técnicas de aprendizado em profundidade, bem como a sua alta propensão ao chamado super-ajuste dos dados. Recentemente, a simplista ideia de desconectar neurônios ou conexões de uma rede, técnicas denominadas de Dropout e Dropconnect, respectivamente, tem se demonstrado muito eficazes e primordiais ao processo de aprendizado, embora ainda necessitem de uma escolha adequada de parâmetros. O presente projeto pretende identificar possíveis soluções para o problema mencionado por meio de técnicas de otimização meta-heurística, objetivando encontrar o número adequado do limiar de desligamento dos neurônios e conexões. Diferentes abordagens de aprendizado em profundidade, tais como, Máquinas de Boltzmann Restritas, Máquinas de Boltzmann em Profundidade, Redes de Crença em Profundidade, Redes Neurais Convolucionais; e diferentes meta-heurísticas, tais como, Algoritmo do Morcego, Algoritmo do Vagalume, Busca do Cuckoo, Otimização por Enxame de Partículas, foram utilizadas a fim de tentar solucionar este problema. Os resultados apresentados indicam uma possível tendência em utilizar a otimização meta-heurística para encontrar parâmetros mais adequados, os quais, consequentemente, auxiliam no processo de aprendizado e melhoria da arquitetura neural. (AU)

• Processo FAPESP: 15/25739-4 - Estudo de Semântica em Modelos de Aprendizado em Profundidade
• Beneficiário: Gustavo Henrique de Rosa
• Modalidade de apoio: Bolsas no Brasil - Mestrado