Fine-Tuning Temperatures in Restricted Boltzmann Machines Using Meta-Heuristic Optimization

Autor(es)

Roder, Mateus ; de Rosa, Gustavo Henrique ; Papa, Joao Paulo ; Breve, Fabricio Aparecido ; IEEE

• Tipo de documento: Artigo Científico
• Fonte: 2020 IEEE CONGRESS ON EVOLUTIONARY COMPUTATION (CEC); v. N/A, p. 8-pg., 2020-01-01.

Resumo

Restricted Boltzmann Machines (RBM) are stochastic neural networks mainly used for image reconstruction and unsupervised feature learning. An enhanced version, the temperature-based RBM (T-RBM), considers a new temperature parameter during the learning process that influences the neurons' activation. Nevertheless, the major vulnerability of such models concerns selecting an adequate system's temperature, which might lead them to inadequate training or even overfitting when wrongly set, thus limiting the network from predicting or working effectively over unseen data. This paper addresses the problem of selecting a suitable system's temperature through a meta-heuristic optimization process. Meta-heuristic-driven techniques, such as Particle Swarm Optimization, Bat Algorithm, and Artificial Bee Colony are employed to find proper values for the temperature parameter. Additionally, for comparison purposes, three standard temperature values and a random search are used as baselines. The results revealed that optimizing T-RBM is suitable for training purposes, primarily due to their complex fitness landscape, which makes fine-tuning temperatures a non-trivial task. (AU)

• Processo FAPESP: 19/02205-5 - Aprendizado adversarial em processamento de linguagem natural
• Beneficiário: Gustavo Henrique de Rosa
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Processo FAPESP: 17/25908-6 - Aprendizado fracamente supervisionado para análise de vídeos no domínio comprimido em tarefas de recuperação e classificação para alertas visuais
• Beneficiário: João Paulo Papa
• Modalidade de apoio: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
• Processo FAPESP: 19/07825-1 - Máquinas de Boltzmann em profundidade para reconhecimento de eventos em vídeos
• Beneficiário: Mateus Roder
• Modalidade de apoio: Bolsas no Brasil - Mestrado
• Processo FAPESP: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria
• Beneficiário: Francisco Louzada Neto
• Modalidade de apoio: Auxílio à Pesquisa - Centros de Pesquisa, Inovação e Difusão - CEPIDs
• Processo FAPESP: 14/12236-1 - AnImaLS: Anotação de Imagem em Larga Escala: o que máquinas e especialistas podem aprender interagindo?
• Beneficiário: Alexandre Xavier Falcão
• Modalidade de apoio: Auxílio à Pesquisa - Temático