Tópicos em Redes Neurais: I. Interação entre redes neurais de atratores. II. Dinâmica de aprendizado em redes de arquitetura profunda.

Resumo

I. Introduzimos um novo tipo de interação entre agentes modelados por redes neurais de atratores. Estudamos analiticamente a influência na capacidade crítica de redes sujeitas a interação com outra rede. Os dois agentes recebem a mesma quantidade de informação prévia, mas são sujeitas a diferentes tempos da dinâmica de sonhos, que leva a diferentes depurações de mínimos locais do Hamiltoniano. Resultados preliminares indicam uma vasta gama de possíveis mudança da capacidade dos agentes de processar informação.II. Estudaremos, usando técnicas de inferência (Dinâmica Entrópica) os algoritmos ótimos para redes de arquitetura profunda com elementos das camadas escondidas na classe ReLu, que tem demonstrado levar a comportamento menos singular que unidades com funções de transferência sigmoidal. Aparentemente as propriedades de convexidade ou não da função de transferência tem importância na ordem da transição de fase de especialização nos ramos internos da rede.