Aprendizado por reforço explicável aplicável a problemas de roteamento em redes definidas por software

• Processo: 22/08847-1
• Modalidade de apoio: Auxílio à Pesquisa - Pesquisador Visitante - Internacional
• Data de Início da vigência: 09 de novembro de 2022
• Data de Término da vigência: 08 de dezembro de 2022
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Nelson Luis Saldanha da Fonseca
• Beneficiário: Nelson Luis Saldanha da Fonseca
• Pesquisador visitante: Oscar Mauricio Caicedo Rendon
• Instituição do Pesquisador Visitante: Universidad del Cauca (Unicauca), Colômbia
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Vinculado ao auxílio: 15/24494-8 - Comunicação e processamento de big data em nuvens e névoas computacionais, AP.TEM
• Assunto(s): Aprendizado computacional Redes definidas por software Roteamento Redes de computadores Colaboração científica Intercâmbio de pesquisadores
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Redes Definidas por Software | Roteamento | Redes de Computadores

Resumo

Esta proposta de pesquisador visitante aborda a seguinte questão: Como fornecer um esquema de roteamento eficiente, inteligente e explicável para SDN?. Argumentamos que eXplainable Reinforcement Learning (XRL) e eXplainable Deep Reinforcement Learning (XDRL), campos da Inteligência Artificial eXplainable (XAI) que atraíram atenção considerável recentemente, permite que os stakeholders da rede tornem os modelos RL e DRL interpretáveis, gerenciáveis e confiáveis. XRL e XDRL levam ao entendimento do raciocínio e das ações realizadas pelos agentes RL e DRL na tomada de suas decisões. No entanto, projetar modelos XAI e XRL/XDRL apropriadamente rápidos e precisos, em particular, é um desafio de pesquisa aberto. Há uma tremenda necessidade de alcançar a interpretabilidade e explicabilidade dos métodos de caixa fechada trabalhando com agentes que agem de forma autônoma no mundo real como os agentes RL e DRL.Especificamente, exploraremos a explicabilidade em nossas soluções de roteamento SDN, RSIR e DRSIR. O RSIR adiciona um plano de conhecimento e define um algoritmo de roteamento baseado em Q-learning que considera informações de estado de link para explorar, aprender e explorar caminhos potenciais para roteamento inteligente, mesmo durante mudanças dinâmicas de tráfego. Esse algoritmo capitaliza a interação com o ambiente, a inteligência fornecida pela RL, a visão global e o controle da rede fornecida pela SDN. Ele calcula e instala, antecipadamente, rotas ótimas nas tabelas de roteamento dos switches no Plano de Dados. O DRSIR aprimora o RSIR usando DQN com métricas de estado de caminho e redes neurais de destino e on-line (NNs). O uso de métricas de estado de caminho reduz a abstração de conhecimento necessária pelo agente de roteamento, pois essa abordagem explora diretamente diferentes opções de caminho em vez de informações de estado do enlace. NNs de destino e on-line permitem que o DRSIR reduza o erro nas estimativas com base nas informações de caminho. Além disso, o agente DQN usa a memória de repetição da experiência para acelerar o aprendizado. (AU)