Rede tensoriais e aprendizado profundo para problemas de aprendizado de máquina e processamento de sinais em larga escala

• Processo: 16/14142-0
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Pós-Doutorado
• Data de Início da vigência: 01 de dezembro de 2016
• Data de Término da vigência: 30 de novembro de 2017
• Área de conhecimento: Engenharias - Engenharia Elétrica
• Pesquisador responsável: João Marcos Travassos Romano
• Beneficiário: Michele Nazareth da Costa
• Supervisor: Andrzej Cichocki
• Instituição Sede: Faculdade de Engenharia Elétrica e de Computação (FEEC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Instituição Anfitriã: RIKEN, Japão
• Vinculado à bolsa: 14/23936-4 - Aplicações de processamento de dados multidimensionais usando métodos tensoriais, BP.PD
• Assunto(s): Processamento de sinais Redes neurais (computação) Aprendizado computacional Reconhecimento de padrões
• Palavra(s)-Chave do Pesquisador: Deep Learning | deep neural networks | machine learning | Signal processing | tensor networks | tensorial decomposition | signal processing

Resumo

Redes neurais de aprendizagem profunda têm atraído a atenção da comunidade de aprendizagem de máquina por causa de sua estrutura de dados orientada e de seu desempenho em uma série de tarefas de reconhecimento de padrões. É bem conhecido que modernas redes neurais profundas (DNNs) são altamente redundantes e contêm centenas de milhões de parâmetros, usando toda a memória disponível de computadores. No entanto, as tentativas para diminuir a largura e profundidade das camadas de rede neural geralmente levam a queda considerável no desempenho. Para resolver estas questões, o presente projeto de pesquisa será focado em utilizar os métodos de decomposição tensoriais e redes tensoriais de posto baixo para construir uma representação compacta de DNNs. Isto permitirá a utilização de um rico conjunto de métodos oriundos da teoria de redes de tensores e o modelamento mais eficiente de arquiteturas de DNNs, o que levará a acelerar o processo de aprendizagem e operações matemáticas. Uma característica fundamental deste projeto é o desenvolvimento de novas abordagens fundamentais para treinamento, teste e armazenamento de parâmetros de DNNs usando o formalismo das redes de tensores. Estas abordagens permitirão reduzir em várias ordens de grandeza a complexidade computacional e memória necessária para o funcionamento da rede, mantendo ao mesmo tempo uma qualidade de predição. Ferramentas matemáticas e algoritmos desenvolvidos durante o projeto poderão ser usados para uma ampla gama de problemas aplicados, tais como reconhecimento de imagem, predição e clusterização. (AU)