Reusando soluções de tarefas prévias em aprendizado por reforço multiagente

• Processo: 18/00344-5
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Doutorado
• Data de Início da vigência: 01 de abril de 2018
• Data de Término da vigência: 31 de março de 2019
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Anna Helena Reali Costa
• Beneficiário: Felipe Leno da Silva
• Supervisor: Peter Stone
• Instituição Sede: Escola Politécnica (EP). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Instituição Anfitriã: University of Texas at Austin (UT), Estados Unidos
• Vinculado à bolsa: 15/16310-4 - Transferência de Conhecimento no Aprendizado por Reforço em Sistemas Multiagentes, BP.DR
• Assunto(s): Inteligência artificial Aprendizado computacional Sistemas multiagentes Transferência de aprendizado de máquina
• Palavra(s)-Chave do Pesquisador: artificial intelligence | machine learning | multiagent systems | reinforcement learning | Transfer Learning | Inteligência Artificial

Resumo

O Aprendizado por Reforço (Reinforcement Learning - RL) é uma solução popular no treinamento de agentes autônomos para a solução de tarefas em ambientes com dinâmica desconhecida. Apesar dos sucessos alcançados por propostas recentes de RL resolvendo tarefas desafiadoras, RL ainda sofre por necessitar uma grande quantidade de interações com o ambiente para aprender uma boa solução. Quando aplicado a Sistemas Multiagentes (Multiagent Systems - MAS), RL permite treinar agentes para resolver tarefas coordenando com outros agentes. Entretanto, a complexidade em relação ao número de interações com o ambiente se torna ainda maior, portanto RL Multiagente é dependente de técnicas adicionais para ser aplicável a tarefas complexas. Neste projeto utilizaremos métodos de Transferência de Conhecimento para acelerar o RL Multiagente através do reúso de conhecimento. No projeto de doutorado principal foi proposta uma arquitetura em que os agentes fazem reúso tanto de soluções de tarefas prévias quanto de aconselhamentos provenientes de outros agentes. O principal propósito deste BEPE é o desenvolvimento de métodos para o reúso de soluções de tarefas passadas para posteriormente integrá-los à nossa arquitetura. Recentemente o uso de Curriculum Learning apresentou benefícios interessantes para o processo de aprendizado em RL com apenas um agente. Tendo em vista os recentes avanços da área, este projeto pretende propor algoritmos de Curriculum Learning especializados para o caso Multiagente. Esse projeto é uma ressubmissão do processo 2017/13729-0, aprovado pela FAPESP mas não implementado devido ao longo tempo necessário para a emissão de um visto para os EUA. (AU)

Publicações científicas

(8)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

BONINI, RODRIGO CESAR; DA SILVA, FELIPE LENO; GLATT, RUBEN; SPINA, EDISON; REALI COSTA, ANNA HELENA; IEEE. A Framework to Discover and Reuse Object-Oriented Options in Reinforcement Learning. 2018 7TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS), v. N/A, p. 6-pg., 2018-01-01. (16/21047-3, 15/16310-4, 18/00344-5)

DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA. A Survey on Transfer Learning for Multiagent Reinforcement Learning Systems. JOURNAL OF ARTIFICIAL INTELLIGENCE RESEARCH, v. 64, p. 645-703, 2019. (18/00344-5, 16/21047-3, 15/16310-4)

DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA; ACM. Object-Oriented Curriculum Generation for Reinforcement Learning. PROCEEDINGS OF THE 17TH INTERNATIONAL CONFERENCE ON AUTONOMOUS AGENTS AND MULTIAGENT SYSTEMS (AAMAS' 18), v. N/A, p. 9-pg., 2018-01-01. (18/00344-5, 16/21047-3, 15/16310-4)

DA SILVA, FELIPE LENO; TAYLOR, MATTHEW E.; REALI COSTA, ANNA HELENA; LANG, J. Autonomously Reusing Knowledge in Multiagent Reinforcement Learning. PROCEEDINGS OF THE TWENTY-SEVENTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE, v. N/A, p. 7-pg., 2018-01-01. (16/21047-3, 15/16310-4, 18/00344-5)

GLATT, RUBEN; DA SILVA, FELIPE LENO; DA COSTA BIANCHI, REINALDO AUGUSTO; REALI COSTA, ANNA HELENA. DECAF: Deep Case-based Policy Inference for knowledge transfer in Reinforcement Learning. EXPERT SYSTEMS WITH APPLICATIONS, v. 156, OCT 15 2020. (16/21047-3, 15/16310-4, 18/00344-5, 16/18792-9)

DA SILVA, FELIPE LENO; WARNELL, GARRETT; COSTA, ANNA HELENA REALI; STONE, PETER. Agents teaching agents: a survey on inter-agent transfer learning. AUTONOMOUS AGENTS AND MULTI-AGENT SYSTEMS, v. 34, n. 1, APR 2020. (15/16310-4, 18/00344-5)

DA SILVA, FELIPE LENO; NISHIDA, CYNTIA E. H.; ROIJERS, DIEDERIK M.; COSTA, ANNA H. REALI. Coordination of Electric Vehicle Charging Through Multiagent Reinforcement Learning. IEEE TRANSACTIONS ON SMART GRID, v. 11, n. 3, p. 2347-2356, MAY 2020. (15/16310-4, 18/00344-5)

DA SILVA, FELIPE LENO; ASSOC COMP MACHINERY. Integrating Agent Advice and Previous Task Solutions in Multiagent Reinforcement Learning. AAMAS '19: PROCEEDINGS OF THE 18TH INTERNATIONAL CONFERENCE ON AUTONOMOUS AGENTS AND MULTIAGENT SYSTEMS, v. N/A, p. 2-pg., 2019-01-01. (15/16310-4, 16/21047-3, 18/00344-5)