Compreensão do papel de atalhos e mudanças de distribuição para generalização de redes neurais profundas

Resumo

Técnicas de aprendizado profundo alcançaram sucesso em tarefas de visão computacional e processamento de linguagem natural. Correlações espúrias (vieses) em bases de dados são capazes de corromper modelos, causando baixa generalização a amostras de fora da distribuição, sendo um obstáculo para a aplicação de técnicas de aprendizado profundo para problemas do mundo real, como imagens médicas. Apesar da existência de algoritmos de aprendizado robusto, as performances dependem severamente de seleção de hiperparâmetros e das características dos dados e os vieses que eles apresentam. Além disso, soluções ainda dependem da anotação de fontes de vieses, e os fenômenos que permeam a literatura de generalização de modelos ainda não são compreendidos. Apesar de anos de pesquisa em generalização de domínio, a avaliação de soluções robustas mostram apenas pequenas melhoras sobre as soluções tradicionais. Nesse cenário, nós estudamos a interação entre dois importantes fenômenos: atalhos, e mudanças de distribuição. Atalhos aparecem como correlações espúrias no conjunto de treinamento, e mudanças de distribuição aparecem em conjuntos de teste de fora da distribuição. Entendemos que ao melhor caracterizar esses fenômenos, podemos propor melhores técnicas de avaliação de generalização, desenviesamento, e melhor entender o mecanismo de aprendizado de redes neurais profundas. (AU)