Desempenho de algoritmos de aprendizagem por reforço sob condições de ambiguidade sensorial em robótica móvel

Autor(es)

Sildomar T. Monteiro ^[1] ; Carlos H. C. Ribeiro ^[2]

Afiliação do(s) autor(es)

^[1] Instituto Tecnológico de Aeronáutica. Divisão de Ciência da Computação

^[2] Instituto Tecnológico de Aeronáutica. Divisão de Ciência da Computação

• Tipo de documento: Artigo Científico
• Fonte: Sba : Controle & Automação; v. 15, n. 3, p. 320-338, 2004-09-00.

Resumo

Analisamos a variação de desempenho de algoritmos de aprendizagem por reforço em situações de ambigüidade de estados comumente produzidas pela baixa capacidade sensorial de robôs móveis. Esta variação é produzida pela violação da condição de Markov, importante para garantir a convergência destes algoritmos. As conseqüências práticas desta violação em sistemas reais não estão avaliadas de maneira definitiva na literatura. São estudados neste artigo os algoritmos Q-learning, Sarsa e Q(lambda), em experimentos realizados em um robô móvel Magellan Pro™. De modo a definir um verificador de desempenho para os algoritmos testados, foi implementado um método para criar mapas cognitivos de resolução variável. Os resultados mostram um desempenho satisfatório dos algoritmos, com uma degradação suave em função da ambigüidade sensorial. O algoritmo Q-learning teve o melhor desempenho, seguido do algoritmo Sarsa. O algoritmo Q(lambda) teve seu desempenho limitado pelos parâmetros experimentais. O método de criação de mapas se mostrou bastante eficiente, permitindo uma análise adequada dos algoritmos. (AU)

• Processo FAPESP: 00/06147-3 - Estudo de desempenho de algoritmos de aprendizagem sob condicoes de ambiguidade sensorial.
• Beneficiário: Sildomar Takahashi Monteiro
• Modalidade de apoio: Bolsas no Brasil - Mestrado