ALIS: Aprendizado Autônomo em Sistemas Inteligentes

• Processo: 16/21047-3
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Data de Início da vigência: 01 de fevereiro de 2017
• Data de Término da vigência: 31 de janeiro de 2019
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Anna Helena Reali Costa
• Beneficiário: Anna Helena Reali Costa
• Instituição Sede: Escola Politécnica (EP). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Pesquisadores associados: Reinaldo Augusto da Costa Bianchi
• Assunto(s): Inteligência artificial Transferência de conhecimento Aprendizado por reforço Aproximação de funções
• Palavra(s)-Chave do Pesquisador: Aprendizado Autônomo | Aprendizado Multiagente | Aprendizado por Reforço | Aproximação de funções | Processos de Decisão Markovianos | Transferência de Conhecimento | Inteligência Artificial

Resumo

Sistemas inteligentes são máquinas que possuem seus próprios objetivos, percebem, respondem e aprendem com base em suas experiências. O Aprendizado por Reforço (RL - Reinforcement Learning) é uma ferramenta poderosa para este fim, pois o sistema aprende autonomamente uma política de atuação por meio de tentativa e erro em repetidas interações com o ambiente. Com este projeto busca-se aumentar a difusão do uso da tecnologia de RL e avançar na fronteira do conhecimento da área de aprendizado autônomo. Entretanto, muitos desafios ainda devem ser vencidos para que se tenha um amplo uso do RL em sistemas inteligentes. Os desafios incluem lidar com incertezas dos sensores e atuadores, um mundo dinâmico que exige decisões rápidas, grandezas contínuas e o alto custo computacional do RL. Assim, este projeto de pesquisa científica tem por objetivo investigar, propor, desenvolver e avaliar modelos e métodos capazes de tornar o RL eficiente e eficaz em sistemas inteligentes que resolvem problemas complexos. Em especial, explora: (i) modelagens relacionais e orientadas a objetos e respectivos algoritmos, permitindo oportunidades de generalização na descrição e resolução dos problemas; (ii) distribuição e divisão do trabalho entre vários agentes aprendizes; (iii) funções de aproximações adequadas para representar tanto as situações observadas pelo agente quanto o conhecimento adquirido; (iv) transferência de conhecimento para que o conhecimento adquirido por outro agente ou do aprendizado de uma tarefa prévia seja reaproveitado para acelerar o aprendizado de uma nova tarefa similar. Sob o ponto de vista de aplicações, este projeto visa aplicar e avaliar os modelos e algoritmos propostos em domínios como: jogos, robótica, biologia computacional, entre outros. (AU)

Publicações científicas

(24)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

BIANCHI, REINALDO A. C.; SANTOS, PAULO E.; DA SILVA, ISAAC J.; CELIBERTO, JR., LUIZ A.; DE MANTARAS, RAMON LOPEZ. Heuristically Accelerated Reinforcement Learning by Means of Case-Based Reasoning and Transfer Learning. JOURNAL OF INTELLIGENT & ROBOTIC SYSTEMS, v. 91, n. 2, SI, p. 301-312, AUG 2018. (16/21047-3, 16/18792-9)

JACOMINI, RICARDO DE SOUZA; MARTINS, JR., DAVID CORREA; DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA. GeNICE: A Novel Framework for Gene Network Inference by Clustering, Exhaustive Search, and Multivariate Analysis. JOURNAL OF COMPUTATIONAL BIOLOGY, v. 24, n. 8, p. 809-830, AUG 2017. (16/21047-3, 11/50761-2, 15/16310-4, 15/01587-0)

DOS SANTOS, THIAGO FREITAS; SANTOS, PAULO E.; FERREIRA, LEONARDO A.; BIANCHI, REINALDO A. C.; CABALAR, PEDRO; IEEE. Solving a spatial puzzle using Answer Set Programming integrated with Markov Decision Process. 2018 7TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS), v. N/A, p. 6-pg., 2018-01-01. (17/07833-9, 16/18792-9, 16/21047-3)

BIANCHI, REINALDO A. C.; SANTOS, PAULO E.; DA SILVA, ISAAC J.; CELIBERTO, LUIZ A., JR.; DE MANTARAS, RAMON LOPEZ. Heuristically Accelerated Reinforcement Learning by Means of Case-Based Reasoning and Transfer Learning. JOURNAL OF INTELLIGENT & ROBOTIC SYSTEMS, v. 91, n. 2, p. 12-pg., 2018-08-01. (16/21047-3, 16/18792-9)

DA SILVA, FELIPE LENO; ASSOC COMP MACHINERY. Integrating Agent Advice and Previous Task Solutions in Multiagent Reinforcement Learning. AAMAS '19: PROCEEDINGS OF THE 18TH INTERNATIONAL CONFERENCE ON AUTONOMOUS AGENTS AND MULTIAGENT SYSTEMS, v. N/A, p. 2-pg., 2019-01-01. (15/16310-4, 16/21047-3, 18/00344-5)

GLATT, RUBEN; DA SILVA, FELIPE LENO; DA COSTA BIANCHI, REINALDO AUGUSTO; REALI COSTA, ANNA HELENA. DECAF: Deep Case-based Policy Inference for knowledge transfer in Reinforcement Learning. EXPERT SYSTEMS WITH APPLICATIONS, v. 156, OCT 15 2020. (16/21047-3, 15/16310-4, 18/00344-5, 16/18792-9)

HOMEM, THIAGO P. D.; PERICO, DANILO H.; SANTOS, PAULO E.; COSTA, ANNA H. R.; BIANCHI, REINALDO A. C.; DE MANTARAS, RAMON LOPEZ; TODT, E; TONIDANDEL, F. A hybrid approach to learn, retrieve and reuse qualitative cases. 2017 LATIN AMERICAN ROBOTICS SYMPOSIUM (LARS) AND 2017 BRAZILIAN SYMPOSIUM ON ROBOTICS (SBR), v. N/A, p. 6-pg., 2017-01-01. (16/21047-3, 16/18792-9)

PERAFAN VILLOTA, JUAN CARLOS; DA SILVA, FELIPE LENO; JACOMINI, RICARDO DE SOUZA; REALI COSTA, ANNA HELENA. Pairwise registration in indoor environments using adaptive combination of 2D and 3D cues. Image and Vision Computing, v. 69, p. 113-124, JAN 2018. (16/21047-3, 15/16310-4)

DA SILVA, FELIPE LENO; GLATT, RUBEN; REALI COSTA, ANNA HELENA. MOO-MDP: An Object-Oriented Representation for Cooperative Multiagent Reinforcement Learning. IEEE TRANSACTIONS ON CYBERNETICS, v. 49, n. 2, p. 567-579, FEB 2019. (16/21047-3, 15/16310-4)

HOMEM, THIAGO P. D.; PERICO, DANILO H.; SANTOS, PAULO E.; COSTA, ANNA H. R.; BIANCHI, REINALDO A. C.; IEEE. Improving Reinforcement Learning results with Qualitative Spatial Representation. 2017 6TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS), v. N/A, p. 6-pg., 2017-01-01. (16/18792-9, 16/21047-3)

ALMEIDA, AISLAN C.; COSTA, ANNA H. R.; BIANCHI, REINALDO A. C.; TODT, E; TONIDANDEL, F. Vision-based Monte-Carlo Localization for Humanoid Soccer Robots. 2017 LATIN AMERICAN ROBOTICS SYMPOSIUM (LARS) AND 2017 BRAZILIAN SYMPOSIUM ON ROBOTICS (SBR), v. N/A, p. 6-pg., 2017-01-01. (16/21047-3)

HAYAMA NISHIDA, CYNTIA EICO; REALI COSTA, ANNA HELENA; BIANCHI, REINALDO A. C.; IEEE. Controlling Gene Regulatory Networks with FQI-SARSA. 2017 6TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS), v. N/A, p. 6-pg., 2017-01-01. (16/21047-3)

ALMEIDA, AISLAN C.; NETO, SYLVIO R. J.; BIANCHI, REINALDO A. C.; DONASCIMENTO, TP; COLOMBINI, EL; DEBRITO, AV; GARCIA, LTD; SA, STD; GONCALVES, LMG. Comparing Vision-based Monte-Carlo Localization Methods. 15TH LATIN AMERICAN ROBOTICS SYMPOSIUM 6TH BRAZILIAN ROBOTICS SYMPOSIUM 9TH WORKSHOP ON ROBOTICS IN EDUCATION (LARS/SBR/WRE 2018), v. N/A, p. 6-pg., 2018-01-01. (16/21047-3, 16/18792-9)

HAYAMA NISHIDA, CYNTIA EICO; REALI COSTA, ANNA HELENA; DA COSTA BIANCHI, REINALDO AUGUSTO; IEEE. Control of Gene Regulatory Networks Basin of Attractions with Batch Reinforcement Learning. 2018 7TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS), v. N/A, p. 6-pg., 2018-01-01. (16/21047-3)

DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA; ACM. Object-Oriented Curriculum Generation for Reinforcement Learning. PROCEEDINGS OF THE 17TH INTERNATIONAL CONFERENCE ON AUTONOMOUS AGENTS AND MULTIAGENT SYSTEMS (AAMAS' 18), v. N/A, p. 9-pg., 2018-01-01. (18/00344-5, 16/21047-3, 15/16310-4)

PERICO, DANILO H.; HOMEM, THIAGO P. D.; ALMEIDA, AISLAN C.; SILVA, ISAAC J.; VILAO, JR., CLAUDIO O.; FERREIRA, VINICIUS N.; BIANCHI, REINALDO A. C.. Humanoid Robot Framework for Research on Cognitive Robotics. JOURNAL OF CONTROL AUTOMATION AND ELECTRICAL SYSTEMS, v. 29, n. 4, p. 470-479, AUG 2018. (16/21047-3, 16/18792-9)

DOS SANTOS, THIAGO FREITAS; SANTOS, PAULO E.; FERREIRA, LEONARDO ANJOLETTO; BIANCHI, REINALDO A. C.; CABALAR, PEDRO. euristics, Answer Set Programming and Markov Decision Process for Solving a Set of Spatial Puzzles{*. APPLIED INTELLIGENCE, v. 52, n. 4, JUL 2021. (16/21047-3, 17/07833-9, 16/18792-9)

BONINI, RODRIGO CESAR; DA SILVA, FELIPE LENO; GLATT, RUBEN; SPINA, EDISON; REALI COSTA, ANNA HELENA; IEEE. A Framework to Discover and Reuse Object-Oriented Options in Reinforcement Learning. 2018 7TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS), v. N/A, p. 6-pg., 2018-01-01. (16/21047-3, 15/16310-4, 18/00344-5)

DA SILVA, FELIPE LENO; REALI COSTA, ANNA HELENA. A Survey on Transfer Learning for Multiagent Reinforcement Learning Systems. JOURNAL OF ARTIFICIAL INTELLIGENCE RESEARCH, v. 64, p. 645-703, 2019. (18/00344-5, 16/21047-3, 15/16310-4)

FERREIRA, LEONARDO A.; BIANCHI, REINALDO A. C.; SANTOS, PAULO E.; LOPEZ DE MANTARAS, RAMON. Answer set programming for non-stationary Markov decision processes. APPLIED INTELLIGENCE, v. 47, n. 4, p. 993-1007, DEC 2017. (11/19280-8, 16/18792-9, 16/21047-3)

FERREIRA, VINICIUS N.; NETO, SYLVIO R. J.; ALMEIDA, AISLAN C.; BIANCHI, REINALDO A. C.; DONASCIMENTO, TP; COLOMBINI, EL; DEBRITO, AV; GARCIA, LTD; SA, STD; GONCALVES, LMG. A Visual Memory System for Humanoid Robots. 15TH LATIN AMERICAN ROBOTICS SYMPOSIUM 6TH BRAZILIAN ROBOTICS SYMPOSIUM 9TH WORKSHOP ON ROBOTICS IN EDUCATION (LARS/SBR/WRE 2018), v. N/A, p. 6-pg., 2018-01-01. (16/21047-3, 16/18792-9)

DA SILVA, FELIPE LENO; TAYLOR, MATTHEW E.; REALI COSTA, ANNA HELENA; LANG, J. Autonomously Reusing Knowledge in Multiagent Reinforcement Learning. PROCEEDINGS OF THE TWENTY-SEVENTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE, v. N/A, p. 7-pg., 2018-01-01. (16/21047-3, 15/16310-4, 18/00344-5)

DA SILVA, FELIPE LENO; GLATT, RUBEN; REALI COSTA, ANNA HELENA; ASSOC COMP MACHINERY. Simultaneously Learning and Advising in Multiagent Reinforcement Learning. 2022 25TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION (FUSION 2022), v. N/A, p. 9-pg., 2017-01-01. (16/21047-3, 15/16310-4)

AMENDOLA, JOSE; TANNURI, EDUARDO A.; COZMAN, FABIO G.; REALI COSTA, ANNA H.; ASME. PORT CHANNEL NAVIGATION SUBJECTED TO ENVIRONMENTAL CONDITIONS USING REINFORCEMENT LEARNING. PROCEEDINGS OF THE ASME 38TH INTERNATIONAL CONFERENCE ON OCEAN, OFFSHORE AND ARCTIC ENGINEERING, 2019, VOL 7A, v. N/A, p. 10-pg., 2019-01-01. (16/21047-3, 16/18841-0)