Processos de decisão Markovianos e risco

• Processo: 18/11236-9
• Linha de fomento: Auxílio à Pesquisa - Regular
• Vigência: 01 de maio de 2019 - 30 de abril de 2021
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Karina Valdivia Delgado
• Beneficiário: Karina Valdivia Delgado
• Instituição-sede: Escola de Artes, Ciências e Humanidades (EACH). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Assunto(s): Métodos probabilísticos Processo de Decisão de Markov Custos e análise de custo Análise de risco

Resumo

Processos de Decisão Markovianos (Markov Decision Processes -- MDPs) são amplamente utilizados para resolver problemas de tomada de decisão sequencial. O critério de desempenho mais utilizado nesse tipo de problema para encontrar uma solução é minimizar o custo total esperado. Porém, essa abordagem não leva em consideração a variabilidade do custo (ou seja, flutuações em torno da média), o que pode afetar significativamente o desempenho da solução. MDPs que lidam com esse tipo de problemas são chamados de MDPs sensíveis a risco. Entre os MDPs sensíveis a risco temos: (i) MDPs que usam como critério de otimização a utilidade exponencial esperada (ii) MDPs cujo objetivo é maximizar a probabilidade de que o custo acumulado não seja maior que um dado limite fornecido pelo usuário, chamado de MDP com orçamento limitado; (iii) MDPs cujo critério inclui a métrica CVaR, uma forma robusta de medir risco comumente utilizada na área financeira, chamados de CVaR MDPs; e (iv) MDPs cujo critério utiliza a média do custo total em conjunto com o critério CVaR, chamados de mean-CVAR MDPs. Neste projeto de pesquisa pretende-se trabalhar com MDPs com orçamento limitado, CVar MDPs e mean-CVaR MDPs. O objetivo principal é propor algoritmos exatos e aproximados baseados em programação dinâmica para resolver esses MDPs sensíveis a risco. (AU)