Deep reinforcement learning for bipedal locomotion

Autor(es)

Yuri Corrêa Pinto Soares

• Tipo de documento: Dissertação de Mestrado
• Imprenta: Campinas, SP.
• Instituição: Universidade Estadual de Campinas (UNICAMP). Instituto de Computação
• Data de defesa: 2020-10-23

Membros da banca

Esther Luna Colombini; Marcos Ricardo Omena de Albuquerque Maximo; Eric Rohmer

• Orientador: Esther Luna Colombini

Resumo

Robótica e suas aplicações de serviço com robôs bípedes tem se expandido recentementedevido a possibilidade de se usar robôs desta categoria em ambientes originalmente plane-jados para operação humana. No entanto, locomoção bípede tem se mostrado um desafioteórico e prático devido a alta dimensionalidade do problema, visto que a ação de andartipicamente envolve o controle preciso em tempo-real de múltiplos atuadores e sensoresem conjunto com sistemas dinâmicos complexos. Concomitantemente, aprendizado porreforço (RL) e sua versão com redes neurais profundas (DRL) estão se tornando umaabordagem prominente para solucionar tais problemas, devido a sua capacidade de li-dar com processos contínuos e livres de modelo. Neste trabalho, modelamos a tarefade locomoção como um problema de aprendizagem por reforço, propondo representa-ções práticas baseada em MDPs e estratégias generalizáveis para funções de reforço. Emseguida, prosseguimos desenvolvendo um framework para integrar nosso simulador de es-colha (CoppeliaSim [11]) com a interface corrente padrão para aprendizagem por reforço(OpenAI Gym [5]). Finalmente, nós aplicamos algoritmos do estado-da-arte em apren-dizado por reforço profundo com nosso framework em experimentos configuráveis paravalidar nossa modelagem e aprender uma política de caminhada estável em simulaçãopara o robô Marta, um sofisticado robô humanoide com 25 graus de liberdade (AU)

• Processo FAPESP: 17/21426-7 - Aprendizado por reforço profundo para caminhada bípede
• Beneficiário: Yuri Corrêa Pinto Soares
• Modalidade de apoio: Bolsas no Brasil - Mestrado