Enem: Teoria de Resposta ao Item
Enem 2014: entenda como funciona a Teoria de Resposta ao Item
Método de correção da parte objetiva ainda gera dúvidas entre candidatos
Se um candidato acerta 40 questões na prova objetiva do Exame Nacional do Ensino Médio (Enem) e outro responde corretamente a 39 itens, o primeiro ficaria melhor colocado que o segundo no vestibular. Certo? Não necessariamente. Essa é dúvida que surge a cada ano para milhares de alunos que se surpreendem ao verem suas pontuações finais no exame, que nem sempre correspondem numericamente ao gabarito. E a explicação não é tão simples quanto parece: em vez de simplesmente computar a quantidade de acertos, o vestibular nacional utiliza o método econométrico de correção chamado Teoria de Resposta ao Item (TRI).
Veja Também
Elaborado ainda nos anos 1950, o modelo pode conferir diferentes pontuações para uma mesma questão respondida corretamente pelo candidato. E tudo vai depender de seu conhecimento e do padrão de suas respostas para cada questão, chamada de “item”.
Funciona assim: exames que utilizam a TRI são geralmente divididos perguntas consideradas “fáceis”, “médias” e “difíceis”. Elas recebem uma dessas classificações após passarem por testes do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) e serem incluídas no Banco Nacional de Itens (BNI). É de lá que saem as questões não só do Enem, mas também de outras provas do governo federal, como o Exame Nacional de Desempenho de Estudantes (Enade) e a Prova Brasil.
A partir de cálculos estatísticos e probabilísticos, o sistema mede o grau de proficiência do candidato e seu padrão de respostas às questões. Ou seja, se um candidato acerta 20 questões fáceis e 10 médias, e outro candidato responde corretamente as mesmas 20 fáceis e mais 10 difíceis, os dois terão acertado 30 itens, mas a nota do primeiro será maior, já que é mais provável ele ter acertado as médias por conhecimento, sem acertar as difíceis aleatoriamente, como fez o segundo.
— A TRI produz medidas mais precisas do que as medidas tradicionais, discriminando melhor os alunos segundo suas habilidades cognitivas. Neste sentido ela produz uma ordenação mais fidedigna da realidade — explica Tufi Machado Soares, coordenador de pesquisas do Centro de Políticas Públicas e Avaliação da Educação (CAEd), da Universidade Federal de Juiz de Fora (UFJF).
Outra vantagem da TRI destacada por especialistas e pelo próprio Inep é que o método avalia melhor a pontuação de acertos aleatórios, os chamados “chutes”. Isso acontece porque o cálculo é cumulativo: se um estudante acerta mais questões médias, pressupõe-se que ele também responda corretamente perguntas fáceis. Desse modo, um item difícil acertado acrescentará na nota final, mas não receberá o mesmo peso que receberia quem tivesse uma proficiência capaz de responder a questões desse nível.
— Todo item acertado induz um aumento na nota do candidato. Nenhum acerto diminui nota, seja por chute ou por conhecimento. Mas na TRI, a contribuição na nota final de um item acertado depende dos outros itens que o candidato acertou e errou. Vale lembrar que um item deixado em branco é considerado errado. Portanto, se não souber, chute! — recomenda o professor de estatística da Universidade Federal de Santa Catarina (UFSC) Dalton Francisco de Andrade.
De acordo com Dalton, que já foi consultor para o Enem, a TRI também permite que provas com itens diferentes avaliem candidatos com o mesmo critério, desde que as escalas sejam mantidas. É o que ocorre para os detentos que fazem o Enem para pessoas privadas de liberdade, que geralmente ocorre um mês depois da edição destinada aos demais alunos. A comparação pode ser feita também ao longo dos anos.
— Uma prova elaborada com itens de uma escala tem seu resultado comparável com outra prova elaborada com outros itens da mesma escala. Isto nos permite termos várias aplicações do Enem, todas com resultados diretamente comparáveis. É o caso da prova geral e a do presídio.
NOTA DE TRI E REDAÇÃO RECEBE CRÍTICAS
Embora a TRI tenha alta reputação na academia, estatísticos ainda apontam áreas onde o método de correção do Enem poderia ser aprimorado. Uma delas é a formulação da nota geral, formada com as pontuações da prova objetiva e da redação. Por ser essencialmente dissertativa, essa última não utiliza a mesma escala métrica de avaliação da TRI, e portanto, juntar as duas médias pecaria por certas imprecisões.
A média simples é quando o aluno soma as notas das quatro provas objetivas mais a redação e divide por cinco. Esse é o cálculo utilizado no Programa Universidade para Todos (ProUni) e na maioria dos vestibulares e processos seletivos feitos através do Sistema de Seleção Unificada (Sisu). No entanto, cursos mais concorridos como medicina e engenharia podem atribuir pesos maiores a provas com disciplinas diretamente ligadas ao curso pretendido pelo candidato.
Para Tufi Machado Soares, não há uma solução categórica para o dilema de juntar métodos de correção diferentes em uma mesma nota final. Segundo ele, não se tem como interpretar o que representa uma média, ou soma de pontos, entre uma nota em língua portuguesa e matemática, por exemplo. No entanto, o estatístico aponta possíveis caminhos para melhorar a precisão da avaliação do Enem.
— Há alguns artifícios que poderiam ser adotados e que tornariam o ordenamento global mais coerente, por exemplo: uma padronização das notas da redação que a aproxime das demais escalas; a correção da redação por meio da TRI (usando modelos adequados para isso) ou ainda a construção de um grande esquema de ordenação que considere apenas a ordem alcançada pelos alunos nas diferentes disciplinas.
