Busca avançada
Ano de início
Entree


MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values

Texto completo
Autor(es):
Goncalves do Santos, Claudio Filipi ; Colombo, Danilo ; Roder, Mateus ; Papa, Joao Paulo ; IEEE COMP SOC
Número total de Autores: 5
Tipo de documento: Artigo Científico
Fonte: 2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR); v. N/A, p. 6-pg., 2021-01-01.
Resumo

Different techniques have emerged in the deep learning scenario, such as Convolutional Neural Networks, Deep Belief Networks, and Long Short-Term Memory Networks, to cite a few. In lockstep, regularization methods, which aim to prevent overfitting by penalizing the weight connections, or turning off some units, have been widely studied either. In this paper, we present a novel approach called MaxDropout, a regularizer for deep neural network models that works in a supervised fashion by removing (shutting off) the prominent neurons (i.e., most active) in each hidden layer. The model forces fewer activated units to learn more representative information, thus providing sparsity. Regarding the experiments, we show that it is possible to improve existing neural networks and provide better results in neural networks when Dropout is replaced by MaxDropout. The proposed method was evaluated in image classification, achieving comparable results to existing regularizers, such as Cutout and RandomErasing, also improving the accuracy of neural networks that uses Dropout by replacing the existing layer by MaxDropout. (AU)

Processo FAPESP: 14/12236-1 - AnImaLS: Anotação de Imagem em Larga Escala: o que máquinas e especialistas podem aprender interagindo?
Beneficiário:Alexandre Xavier Falcão
Modalidade de apoio: Auxílio à Pesquisa - Temático
Processo FAPESP: 19/07825-1 - Máquinas de Boltzmann em profundidade para reconhecimento de eventos em vídeos
Beneficiário:Mateus Roder
Modalidade de apoio: Bolsas no Brasil - Mestrado
Processo FAPESP: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria
Beneficiário:Francisco Louzada Neto
Modalidade de apoio: Auxílio à Pesquisa - Centros de Pesquisa, Inovação e Difusão - CEPIDs
Processo FAPESP: 17/25908-6 - Aprendizado fracamente supervisionado para análise de vídeos no domínio comprimido em tarefas de recuperação e classificação para alertas visuais
Beneficiário:João Paulo Papa
Modalidade de apoio: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE