Explainable Reinforcement Learning for Routing in Software-Defined Networks

• Grant number: 25/06650-4
• Support Opportunities: Scholarships in Brazil - Technical Training Program - Technical Training
• Start date: June 01, 2025
• End date: May 31, 2026
• Field of knowledge: Physical Sciences and Mathematics - Computer Science - Computer Systems
• Principal Investigator: Nelson Luis Saldanha da Fonseca
• Grantee: Yeison Stiven Murcia Calvo
• Host Institution: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brazil
• Associated research grant: 23/00673-7 - Distributed Intelligence in Communications Networks and in the Internet of Things, AP.TEM

Abstract

A crescente adoção de tecnologias e serviços emergentes, tais como Internet das Coisas (IoT), realidade virtual e a rápida evolução das redes móveis, gera volumes cada vez maiores de dados heterogêneos e de alta dimensionalidade, impondo desafios significativos para o gerenciamento eficiente dessas redes. Nesse contexto, a Inteligência Artificial (IA), especialmente por meio da integração de técnicas de Aprendizado de Máquina (ML) e Aprendizado Profundo (DL) em Redes Definidas por Software (SDN), destaca-se como uma ferramenta essencial para extrair informações úteis desse conjunto massivo de dados. Particularmente, o Aprendizado por Reforço (RL) tem demonstrado grande potencial para resolver problemas relacionados à engenharia de tráfego e à alocação eficiente de recursos. No entanto, ainda persistem desafios significativos relacionados à explicabilidade e à transparência desses modelos, dificultando sua ampla adoção em ambientes operacionais e resultando em relutância por parte dos operadores de rede. Essa ausência de interpretabilidade não é uma característica exclusiva das SDN; ela reflete, na verdade, um problema geral associado aos modelos de IA, que frequentemente atuam como caixas-pretas de difícil compreensão. Em resposta a essa limitação, surgiu o campo de Inteligência Artificial Explicável (XAI), cujo objetivo é aumentar a confiança nas soluções baseadas em IA, proporcionando maior transparência e mecanismos para justificar as decisões tomadas pelos modelos. Essa abordagem é particularmente relevante não somente no contexto das redes de comunicação, mas também em uma ampla gama de aplicações, nas quais confiabilidade e interpretabilidade são fatores críticos para garantir a aceitação e o sucesso dos sistemas baseados em IA em cenários reais. Este trabalho pretende investigar como a XAI pode contribuir para o aprimoramento dos algoritmos de roteamento em SDN. Especificamente, pretende-se propor novas versões dos algoritmos RSIR e DRSIR baseadas em técnicas de XAI. Postula-se que essa abordagem apresentará um caráter inovador ao empregar métodos de explicabilidade do tipo post-hoc para medir e analisar a relevância das características utilizadas pelos modelos. Isso possibilitará ajustes mais precisos nos algoritmos, aperfeiçoando o processo de tomada de decisões e, consequentemente, melhorando a confiança e o desempenho geral da rede.