Reinforcing learning in Deep Belief Networks through nature-inspired optimization

Autor(es)

Roder, Mateus ^[1] ; Passos, Leandro Aparecido ^[1] ; de Rosa, Gustavo H. ^[1] ; de Albuquerque, Victor Hugo C. ^{[2, 3]} ; Papa, Joao Paulo ^[1]

Afiliação do(s) autor(es)

^[1] Sao Paulo State Univ, Dept Comp, Av Engn Luiz Edmundo Carrijo Coube 14-01, BR-17033360 Bauru, SP - Brazil

^[2] Univ Fed Ceara, Grad Program Teleinformat Engn, Fortaleza, CE - Brazil

^[3] Fed Inst Educ Sci & Technol Ceara, Grad Program Telecommun Engn, Fortaleza, CE - Brazil

• Tipo de documento: Artigo Científico
• Fonte: APPLIED SOFT COMPUTING; v. 108, SEP 2021.
• Citações Web of Science: 0

Resumo

Deep learning techniques usually face drawbacks related to the vanishing gradient problem, i.e., the gradient becomes gradually weaker when propagating from one layer to another until it finally vanishes away and no longer helps in the learning process. Works have addressed this problem by introducing residual connections, thus assisting gradient propagation. However, such a subject of study has been poorly considered for Deep Belief Networks. In this paper, we propose a weighted layer-wise information reinforcement approach concerning Deep Belief Networks. Moreover, we also introduce metaheuristic optimization to select proper weight connections that improve the network's learning capabilities. Experiments conducted over public datasets corroborate the effectiveness of the proposed approach in image classification tasks. (C) 2021 Elsevier B.V. All rights reserved. (AU)

• Processo FAPESP: 19/07825-1 - Máquinas de Boltzmann em profundidade para reconhecimento de eventos em vídeos
• Beneficiário: Mateus Roder
• Linha de fomento: Bolsas no Brasil - Mestrado
• Processo FAPESP: 18/21934-5 - Estatística de redes: teoria, métodos e aplicações
• Beneficiário: André Fujita
• Linha de fomento: Auxílio à Pesquisa - Temático
• Processo FAPESP: 17/25908-6 - Aprendizado fracamente supervisionado para análise de vídeos no domínio comprimido em tarefas de recuperação e classificação para alertas visuais
• Beneficiário: João Paulo Papa
• Linha de fomento: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
• Processo FAPESP: 19/07665-4 - Centro de Inteligência Artificial
• Beneficiário: Fabio Gagliardi Cozman
• Linha de fomento: Auxílio à Pesquisa - Programa Centros de Pesquisa em Engenharia
• Processo FAPESP: 19/02205-5 - Aprendizado adversarial em processamento de linguagem natural
• Beneficiário: Gustavo Henrique de Rosa
• Linha de fomento: Bolsas no Brasil - Doutorado
• Processo FAPESP: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria
• Beneficiário: José Alberto Cuminato
• Linha de fomento: Auxílio à Pesquisa - Centros de Pesquisa, Inovação e Difusão - CEPIDs
• Processo FAPESP: 14/12236-1 - AnImaLS: Anotação de Imagem em Larga Escala: o que máquinas e especialistas podem aprender interagindo?
• Beneficiário: Alexandre Xavier Falcão
• Linha de fomento: Auxílio à Pesquisa - Temático