Validação e calibração de modelos preditivos

Resumo

A maioria dos métodos de aprendizado supervisionado resultam em predições pontuais de um rótulo, $Y \in \sY$, baseado em atributos, $\X \in \sX$. Recentemente, uma grande quantidade de trabalhos em estatística e aprendizado de máquinas tem focado em desenvolver métodos que quantifiquem a incerteza associada a predições pontuais. Estes vão de regiões preditivas à estimadores de densidade condicional e métodos de regressão quantílica. Para que tais métodos sejam úteis, eles necessitam ser calibrados, isto é, eles devem quantificar incertezas de forma adequada. Embora diversas noções de calibração têm sido desenvolvidas para diferentes tarefas, elas apenas analisam a validade geral de um algoritmo. Portanto, nenhuma dessas definições conseguem propriamente medir calibração local, o que pode levar a problemas de equidade em diversos problemas práticos. Nesse projeto, propomos uma metodologia alternativa de calibração que é especialmente delineada para avaliar e performar calibração local em regressão e classificação, com aplicações em nowcasting de casos de Dengue e modelos preditivos. (AU)