Transferência de Conhecimento no Aprendizado por Reforço em Sistemas Multiagentes

• Processo: 15/16310-4
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de dezembro de 2015
• Data de Término da vigência: 30 de setembro de 2019
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Anna Helena Reali Costa
• Beneficiário: Felipe Leno da Silva
• Instituição Sede: Escola Politécnica (EP). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Bolsa(s) vinculada(s): 18/00344-5 - Reusando soluções de tarefas prévias em aprendizado por reforço multiagente, BE.EP.DR
• Assunto(s): Inteligência artificial Transferência de conhecimento Aprendizado por reforço Sistemas multiagentes
• Palavra(s)-Chave do Pesquisador: Aprendizado por Reforço | processos de decisão de Markov | sistemas multiagentes | Transferência de Conhecimento | Inteligência Artificial

Resumo

O Aprendizado por Reforço é uma poderosa ferramenta para treinar agentes inteligentes, uma vez que o aprendizado se dá de forma totalmente autônoma. Este aprendizado é realizado por meio de repetidas interações entre agentes e o ambiente, pelo método de tentativa e erro, até o momento em que os agentes têm informação suficiente para atuar de maneira apropriada para resolver uma determinada tarefa. Entretanto, o agente pode levar muito tempo para determinar quais ações são mais indicadas para cada situação. Para contornar este problema, soluções de Transferência de Conhecimento começaram a ser utilizadas, onde o conhecimento adquirido após o treinamento de uma tarefa é reaproveitado para acelerar o aprendizado de uma nova tarefa similar. Ao adicionar múltiplos agentes atuando ao mesmo tempo no ambiente, obtém-se um sistema robusto a falhas, escalável e paralelizável. Entretanto, novos problemas devem ser enfrentados, como a explosão dimensional e a dificuldade de prever as consequências das ações conjuntas dos agentes. Pesquisas investigaram soluções parciais para estes problemas, onde a Transferência de Conhecimento se provou benéfica também para domínios Multiagentes. Porém, ainda é necessário um amadurecimento dos métodos existentes de Transferência de Conhecimento para viabilizar a aplicação destas técnicas em domínios complexos. Esta pesquisa visa propor métodos que abordem algumas perguntas que foram respondidas apenas superficialmente pelos métodos do estado da arte, entre elas, como abstrair apropriadamente o conhecimento adquirido no treinamento?, como representar esse conhecimento?, como realizar as comunicações entre agentes para transmitir o conhecimento de tarefas aprendidas? e como lidar com a observalidade parcial do mundo?

Publicações científicas

(17)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA; AAAI. Accelerating Multiagent Reinforcement Learning through Transfer Learning. PROCEEDINGS OF THE TWENTY-NINTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE, v. N/A, p. 2-pg., 2017-01-01. (15/16310-4)

GLATT, RUBEN; DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA; IEEE. Towards Knowledge Transfer in Deep Reinforcement Learning. PROCEEDINGS OF 2016 5TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS 2016), v. N/A, p. 6-pg., 2016-01-01. (15/16310-4)

DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA; ACM. Object-Oriented Curriculum Generation for Reinforcement Learning. PROCEEDINGS OF THE 17TH INTERNATIONAL CONFERENCE ON AUTONOMOUS AGENTS AND MULTIAGENT SYSTEMS (AAMAS' 18), v. N/A, p. 9-pg., 2018-01-01. (18/00344-5, 16/21047-3, 15/16310-4)

BONINI, RODRIGO CESAR; DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA; AAAI. Learning Options in Multiobjective Reinforcement Learning. PROCEEDINGS OF THE TWENTY-NINTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE, v. N/A, p. 2-pg., 2017-01-01. (15/16310-4)

BONINI, RODRIGO CESAR; DA SILVA, FELIPE LENO; GLATT, RUBEN; SPINA, EDISON; REALI COSTA, ANNA HELENA; IEEE. A Framework to Discover and Reuse Object-Oriented Options in Reinforcement Learning. 2018 7TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS), v. N/A, p. 6-pg., 2018-01-01. (16/21047-3, 15/16310-4, 18/00344-5)

DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA. A Survey on Transfer Learning for Multiagent Reinforcement Learning Systems. JOURNAL OF ARTIFICIAL INTELLIGENCE RESEARCH, v. 64, p. 645-703, 2019. (18/00344-5, 16/21047-3, 15/16310-4)

DA SILVA, FELIPE LENO; TAYLOR, MATTHEW E.; REALI COSTA, ANNA HELENA; LANG, J. Autonomously Reusing Knowledge in Multiagent Reinforcement Learning. PROCEEDINGS OF THE TWENTY-SEVENTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE, v. N/A, p. 7-pg., 2018-01-01. (16/21047-3, 15/16310-4, 18/00344-5)

DA SILVA, FELIPE LENO; GLATT, RUBEN; REALI COSTA, ANNA HELENA; ASSOC COMP MACHINERY. Simultaneously Learning and Advising in Multiagent Reinforcement Learning. 2022 25TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION (FUSION 2022), v. N/A, p. 9-pg., 2017-01-01. (16/21047-3, 15/16310-4)

DA SILVA, FELIPE LENO; NISHIDA, CYNTIA E. H.; ROIJERS, DIEDERIK M.; COSTA, ANNA H. REALI. Coordination of Electric Vehicle Charging Through Multiagent Reinforcement Learning. IEEE TRANSACTIONS ON SMART GRID, v. 11, n. 3, p. 2347-2356, MAY 2020. (15/16310-4, 18/00344-5)

DA SILVA, FELIPE LENO; WARNELL, GARRETT; COSTA, ANNA HELENA REALI; STONE, PETER. Agents teaching agents: a survey on inter-agent transfer learning. AUTONOMOUS AGENTS AND MULTI-AGENT SYSTEMS, v. 34, n. 1, APR 2020. (15/16310-4, 18/00344-5)

DA SILVA, FELIPE LENO; GLATT, RUBEN; REALI COSTA, ANNA HELENA; AAAI. An Advising Framework for Multiagent Reinforcement Learning Systems. PROCEEDINGS OF THE TWENTY-NINTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE, v. N/A, p. 2-pg., 2017-01-01. (15/16310-4)

JACOMINI, RICARDO DE SOUZA; MARTINS, JR., DAVID CORREA; DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA. GeNICE: A Novel Framework for Gene Network Inference by Clustering, Exhaustive Search, and Multivariate Analysis. JOURNAL OF COMPUTATIONAL BIOLOGY, v. 24, n. 8, p. 809-830, AUG 2017. (16/21047-3, 11/50761-2, 15/16310-4, 15/01587-0)

PERAFAN VILLOTA, JUAN CARLOS; DA SILVA, FELIPE LENO; JACOMINI, RICARDO DE SOUZA; REALI COSTA, ANNA HELENA. Pairwise registration in indoor environments using adaptive combination of 2D and 3D cues. Image and Vision Computing, v. 69, p. 113-124, JAN 2018. (16/21047-3, 15/16310-4)

DA SILVA, FELIPE LENO; GLATT, RUBEN; REALI COSTA, ANNA HELENA. MOO-MDP: An Object-Oriented Representation for Cooperative Multiagent Reinforcement Learning. IEEE TRANSACTIONS ON CYBERNETICS, v. 49, n. 2, p. 567-579, FEB 2019. (16/21047-3, 15/16310-4)

GLATT, RUBEN; DA SILVA, FELIPE LENO; DA COSTA BIANCHI, REINALDO AUGUSTO; REALI COSTA, ANNA HELENA. DECAF: Deep Case-based Policy Inference for knowledge transfer in Reinforcement Learning. EXPERT SYSTEMS WITH APPLICATIONS, v. 156, OCT 15 2020. (16/21047-3, 15/16310-4, 18/00344-5, 16/18792-9)

DA SILVA, FELIPE LENO; GLATT, RUBEN; REALI COSTA, ANNA HELENA; IEEE. Object-Oriented Reinforcement Learning in Cooperative Multiagent Domains. PROCEEDINGS OF 2016 5TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS 2016), v. N/A, p. 6-pg., 2016-01-01. (15/16310-4)

DA SILVA, FELIPE LENO; ASSOC COMP MACHINERY. Integrating Agent Advice and Previous Task Solutions in Multiagent Reinforcement Learning. AAMAS '19: PROCEEDINGS OF THE 18TH INTERNATIONAL CONFERENCE ON AUTONOMOUS AGENTS AND MULTIAGENT SYSTEMS, v. N/A, p. 2-pg., 2019-01-01. (15/16310-4, 16/21047-3, 18/00344-5)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

SILVA, Felipe Leno da. Métodos e algoritmos para reúso de conhecimento em aprendizado por reforço multiagente.. 2019. Tese de Doutorado - Universidade de São Paulo (USP). Escola Politécnica (EP/BC) São Paulo.