Processos de decisão Markovianos e risco

• Processo: 18/11236-9
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Data de Início da vigência: 01 de maio de 2019
• Data de Término da vigência: 30 de abril de 2021
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Karina Valdivia Delgado
• Beneficiário: Karina Valdivia Delgado
• Instituição Sede: Escola de Artes, Ciências e Humanidades (EACH). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Assunto(s): Métodos probabilísticos Processos de Markov Custos e análise de custo Análise de risco
• Palavra(s)-Chave do Pesquisador: Planejamento Probabilístico | Processo de decisão markoviano | Tomada de decisão e risco | Planejamento em Inteligência Artificial

Resumo

Processos de Decisão Markovianos (Markov Decision Processes -- MDPs) são amplamente utilizados para resolver problemas de tomada de decisão sequencial. O critério de desempenho mais utilizado nesse tipo de problema para encontrar uma solução é minimizar o custo total esperado. Porém, essa abordagem não leva em consideração a variabilidade do custo (ou seja, flutuações em torno da média), o que pode afetar significativamente o desempenho da solução. MDPs que lidam com esse tipo de problemas são chamados de MDPs sensíveis a risco. Entre os MDPs sensíveis a risco temos: (i) MDPs que usam como critério de otimização a utilidade exponencial esperada (ii) MDPs cujo objetivo é maximizar a probabilidade de que o custo acumulado não seja maior que um dado limite fornecido pelo usuário, chamado de MDP com orçamento limitado; (iii) MDPs cujo critério inclui a métrica CVaR, uma forma robusta de medir risco comumente utilizada na área financeira, chamados de CVaR MDPs; e (iv) MDPs cujo critério utiliza a média do custo total em conjunto com o critério CVaR, chamados de mean-CVAR MDPs. Neste projeto de pesquisa pretende-se trabalhar com MDPs com orçamento limitado, CVar MDPs e mean-CVaR MDPs. O objetivo principal é propor algoritmos exatos e aproximados baseados em programação dinâmica para resolver esses MDPs sensíveis a risco. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

PASTOR, HENRIQUE DIAS; BORGES, IGOR OLIVEIRA; FREIRE, VALDINEI; DELGADO, KARINA VALDIVIA; DE BARROS, LELIANE NUNES; MARTINEZVILLASENOR, L; HERRERAALCANTARA, O; PONCE, H; CASTROESPINOZA, FA. Risk-Sensitive Piecewise-Linear Policy Iteration for Stochastic Shortest Path Markov Decision Processes. ADVANCES IN SOFT COMPUTING, MICAI 2020, PT I, v. 12468, p. 13-pg., 2020-01-01. (18/11236-9)

PEREIRA NETO, EDUARDO LOPES; FREIRE, VALDINEI; DELGADO, KARINA VALDIVIA; MARTINEZVILLASENOR, L; HERRERAALCANTARA, O; PONCE, H; CASTROESPINOZA, FA. Risk Sensitive Markov Decision Process for Portfolio Management. ADVANCES IN SOFT COMPUTING, MICAI 2020, PT I, v. 12468, p. 13-pg., 2020-01-01. (18/11236-9)

CRISPINO, GABRIEL NUNES; FREIRE, VALDINEI; DELGADO, KARINA VALDIVIA. GUBS criterion: Arbitrary trade-offs between cost and probability-to-goal in stochastic planning based on Expected Utility Theory. ARTIFICIAL INTELLIGENCE, v. 316, p. 45-pg., 2023-03-01. (18/11236-9, 19/07665-4)