Reusando soluções de tarefas prévias em aprendizado por reforço multiagente

Resumo

O Aprendizado por Reforço (Reinforcement Learning - RL) é uma solução popular no treinamento de agentes autônomos para a solução de tarefas em ambientes com dinâmica desconhecida. Apesar dos sucessos alcançados por propostas recentes de RL resolvendo tarefas desafiadoras, RL ainda sofre por necessitar uma grande quantidade de interações com o ambiente para aprender uma boa solução. Quando aplicado a Sistemas Multiagentes (Multiagent Systems - MAS), RL permite treinar agentes para resolver tarefas coordenando com outros agentes. Entretanto, a complexidade em relação ao número de interações com o ambiente se torna ainda maior, portanto RL Multiagente é dependente de técnicas adicionais para ser aplicável a tarefas complexas. Neste projeto utilizaremos métodos de Transferência de Conhecimento para acelerar o RL Multiagente através do reúso de conhecimento. No projeto de doutorado principal foi proposta uma arquitetura em que os agentes fazem reúso tanto de soluções de tarefas prévias quanto de aconselhamentos provenientes de outros agentes. O principal propósito deste BEPE é o desenvolvimento de métodos para o reúso de soluções de tarefas passadas para posteriormente integrá-los à nossa arquitetura. Recentemente o uso de Curriculum Learning apresentou benefícios interessantes para o processo de aprendizado em RL com apenas um agente. Tendo em vista os recentes avanços da área, este projeto pretende propor algoritmos de Curriculum Learning especializados para o caso Multiagente. Esse projeto é uma ressubmissão do processo 2017/13729-0, aprovado pela FAPESP mas não implementado devido ao longo tempo necessário para a emissão de um visto para os EUA. (AU)