Transferência de Conhecimento no Aprendizado por Reforço em Sistemas Multiagentes

Resumo

O Aprendizado por Reforço é uma poderosa ferramenta para treinar agentes inteligentes, uma vez que o aprendizado se dá de forma totalmente autônoma. Este aprendizado é realizado por meio de repetidas interações entre agentes e o ambiente, pelo método de tentativa e erro, até o momento em que os agentes têm informação suficiente para atuar de maneira apropriada para resolver uma determinada tarefa. Entretanto, o agente pode levar muito tempo para determinar quais ações são mais indicadas para cada situação. Para contornar este problema, soluções de Transferência de Conhecimento começaram a ser utilizadas, onde o conhecimento adquirido após o treinamento de uma tarefa é reaproveitado para acelerar o aprendizado de uma nova tarefa similar. Ao adicionar múltiplos agentes atuando ao mesmo tempo no ambiente, obtém-se um sistema robusto a falhas, escalável e paralelizável. Entretanto, novos problemas devem ser enfrentados, como a explosão dimensional e a dificuldade de prever as consequências das ações conjuntas dos agentes. Pesquisas investigaram soluções parciais para estes problemas, onde a Transferência de Conhecimento se provou benéfica também para domínios Multiagentes. Porém, ainda é necessário um amadurecimento dos métodos existentes de Transferência de Conhecimento para viabilizar a aplicação destas técnicas em domínios complexos. Esta pesquisa visa propor métodos que abordem algumas perguntas que foram respondidas apenas superficialmente pelos métodos do estado da arte, entre elas, como abstrair apropriadamente o conhecimento adquirido no treinamento?, como representar esse conhecimento?, como realizar as comunicações entre agentes para transmitir o conhecimento de tarefas aprendidas? e como lidar com a observalidade parcial do mundo?