Processos de decisão Markovianos e risco

Resumo

Processos de Decisão Markovianos (Markov Decision Processes -- MDPs) são amplamente utilizados para resolver problemas de tomada de decisão sequencial. O critério de desempenho mais utilizado nesse tipo de problema para encontrar uma solução é minimizar o custo total esperado. Porém, essa abordagem não leva em consideração a variabilidade do custo (ou seja, flutuações em torno da média), o que pode afetar significativamente o desempenho da solução. MDPs que lidam com esse tipo de problemas são chamados de MDPs sensíveis a risco. Entre os MDPs sensíveis a risco temos: (i) MDPs que usam como critério de otimização a utilidade exponencial esperada (ii) MDPs cujo objetivo é maximizar a probabilidade de que o custo acumulado não seja maior que um dado limite fornecido pelo usuário, chamado de MDP com orçamento limitado; (iii) MDPs cujo critério inclui a métrica CVaR, uma forma robusta de medir risco comumente utilizada na área financeira, chamados de CVaR MDPs; e (iv) MDPs cujo critério utiliza a média do custo total em conjunto com o critério CVaR, chamados de mean-CVAR MDPs. Neste projeto de pesquisa pretende-se trabalhar com MDPs com orçamento limitado, CVar MDPs e mean-CVaR MDPs. O objetivo principal é propor algoritmos exatos e aproximados baseados em programação dinâmica para resolver esses MDPs sensíveis a risco. (AU)