An automated platform for evaluation and analysis of essays to develop students' writing

• Grant number: 20/07502-5
• Support Opportunities: Scholarships in Brazil - Technical Training Program - Technical Training
• Start date: July 01, 2020
• End date: July 31, 2021
• Field of knowledge: Linguistics, Literature and Arts - Linguistics
• Principal Investigator: Clayton Quandt Dick
• Grantee: Renata Ramisch
• CNAE: Desenvolvimento e licenciamento de programas de computador não-customizáveis ; Atividades de apoio à educação ; Atividades de ensino não especificadas anteriormente
• Associated research grant: 17/00655-8 - An automated platform for evaluations and analysis of essays to develop students' writing, AP.PIPE

Abstract

Desenvolver as habilidades de escrita de estudantes - e das pessoas em geral - sempre foi um grande desafio. Além de ser naturalmente difícil, pois mobiliza diversas competências do indivíduo, a redação depende de exercícios práticos para evoluir. A prática textual, por sua vez, tem pouco efeito quando não é seguida por uma avaliação/orientação adequada. Uma devolutiva estruturada e clara, indicando erros, acertos e como melhorar, é uma das chaves para o desenvolvimento efetivo dos estudantes, mas são poucos os docentes que dispõem de tempo, remuneração e preparação para isso. Dada essa lacuna, a Redação Nota 1000 surgiu em 2013 como uma plataforma online para a produção e avaliação de redações focando na melhoria da escrita por meio da prática. Apesar de a ideia central ser, desde o início, a automatização do processo para auxiliar os professores-corretores na análise das redações, não havia, naquele momento, recursos, base de dados e conhecimento suficientes para atingir esse objetivo. Optou-se, então, por validar o modelo, seu impacto e seu potencial de comercialização, para depois evoluir para soluções automatizadas. Com o objetivo da primeira fase do projeto plenamente alcançado, agora nossa meta é criar uma ferramenta online de correção automática para auxiliar, em escala ainda maior, alunos, professores e corretores nos processos de produção, correção, avaliação e reescrita do texto nos moldes do ENEM e de outros vestibulares. Para atingir esse objetivo, utilizaremos três fundamentos: O primeiro é o aprendizado de máquina, ou Machine Learning, que é um conjunto de métodos, regras e procedimentos que permitem aos computadores fazer predições e tomar decisões com base em padrões não definidos a priori. Esses métodos estão amplamente difundidos e presentes em quase todos os campos da automação - de algoritmos de buscas na internet a controladores de carros autônomos - e podem ser facilmente contratados e adaptados, inclusive na modalidade "on demand". O segundo está relacionado às ferramentas e aplicações de PLN (Processamento de Linguagem Natural), ou seja, recursos linguístico-computacionais e softwares que processam automaticamente a linguagem humana. Para tanto, buscamos no meio acadêmico os melhores especialistas e as melhores ferramentas de anotação linguística, em diversos níveis - morfológico, sintático, semântico e discursivo. O terceiro e último é a própria base de dados - Big Data - que construímos a partir da análise e correção humana de centenas de milhares de redações nos últimos quatro anos. Ela foi arquitetada justamente para esse fim, valendo-se de elevadíssimo grau de detalhamento e estruturação. São mais de 250.000 redações com notas totais, notas por competência, pontuação por critério objetivo e comentários padronizados e associados a trechos do texto. Além disso, os textos ainda estão organizados por gênero textual, proposta temática, corretor, entre outras classificações. Em suma, aplicaremos recursos de última geração de aprendizado de máquina e PLN em nossa massiva base de dados para que o computador "aprenda" os padrões e critérios de avaliação de forma cada vez mais acurada. Desenvolveremos, então, um modelo preditivo capaz de antecipar um percentual cada vez maior das potenciais falhas na redação. Temos os recursos, a metodologia e uma equipe experiente e qualificada para levar a automatização do processo de avaliação textual a um novo patamar. Com grande impacto imediato na educação no Brasil, o projeto tem potencial para abrir um novo flanco na pesquisa mundial nesse campo.