Busca avançada
Ano de início
Entree

Processos de decisão Markovianos e risco

Processo: 18/11236-9
Linha de fomento:Auxílio à Pesquisa - Regular
Vigência: 01 de maio de 2019 - 30 de abril de 2021
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
Pesquisador responsável:Karina Valdivia Delgado
Beneficiário:Karina Valdivia Delgado
Instituição-sede: Escola de Artes, Ciências e Humanidades (EACH). Universidade de São Paulo (USP). São Paulo , SP, Brasil
Assunto(s):Métodos probabilísticos  Processo de Decisão de Markov  Custos e análise de custo  Análise de risco 

Resumo

Processos de Decisão Markovianos (Markov Decision Processes -- MDPs) são amplamente utilizados para resolver problemas de tomada de decisão sequencial. O critério de desempenho mais utilizado nesse tipo de problema para encontrar uma solução é minimizar o custo total esperado. Porém, essa abordagem não leva em consideração a variabilidade do custo (ou seja, flutuações em torno da média), o que pode afetar significativamente o desempenho da solução. MDPs que lidam com esse tipo de problemas são chamados de MDPs sensíveis a risco. Entre os MDPs sensíveis a risco temos: (i) MDPs que usam como critério de otimização a utilidade exponencial esperada (ii) MDPs cujo objetivo é maximizar a probabilidade de que o custo acumulado não seja maior que um dado limite fornecido pelo usuário, chamado de MDP com orçamento limitado; (iii) MDPs cujo critério inclui a métrica CVaR, uma forma robusta de medir risco comumente utilizada na área financeira, chamados de CVaR MDPs; e (iv) MDPs cujo critério utiliza a média do custo total em conjunto com o critério CVaR, chamados de mean-CVAR MDPs. Neste projeto de pesquisa pretende-se trabalhar com MDPs com orçamento limitado, CVar MDPs e mean-CVaR MDPs. O objetivo principal é propor algoritmos exatos e aproximados baseados em programação dinâmica para resolver esses MDPs sensíveis a risco. (AU)