"Há um descompasso entre o que se ensina e o que se testa nas avaliações", diz Lorin Anderso

Ele esteve no Seminário Internacional Devolutivas das Avaliações de Larga Escala

Estevon Nagumo

 Do Todos Pela Educação, em Brasília

Avaliações de larga escala podem não estar avaliando o que, de fato, os sistemas estão ensinando aos alunos. A tese é defendida pelo pesquisador Lorin Anderson, da Universidade da Carolina do Sul (EUA), um dos convidados do Seminário Internacional Devolutivas das Avaliações de Larga Escala, que ocorreu no dia 12 de março, em Brasília, na sede do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). O evento foi uma realização do Inep, do movimento Todos Pela Educação e da Associação Brasileira de Avaliação Educacional (Abave) e reuniu, além de Anderson, o professor Jesús Jornet, da Universidad de Valencia, e Bruce Rodrigues, do Education Quality and Accountability Office de Ontário (Canadá).

“Você formula a questão com uma intenção, mas o aluno a responde com outra”, afirma Anderson. Para exemplificar, ele cita uma questão de matemática aplicada a estudantes norte-americanos, que continha o seguinte problema: um ônibus do exército tem capacidade para transportar 36 soldados. Se 1.128 soldados estão sendo transportados para um local de treinamento, quantos ônibus são necessários? Os dados mostram que 18% dos estudantes responderam 31, resultado que deixa 12 soldados para trás; 29% disseram 31 ônibus, restando 12 pessoas, o que equivale a cortar um ônibus em terços; 23% optaram pela resposta correta, que era 32 ônibus, e 30% por outra alternativa. Ou seja: apesar de 70% dos estudantes terem realizado o cálculo corretamente, menos de um quarto respondeu à pergunta corretamente.

Anderson afirma que interpretar um teste educacional significa fazer com que o teste faça sentido em relação ao seu próprio propósito. Porém, o que ele tem visto é que nem sempre o conteúdo pedido nas avaliações educacionais de larga escala está coerente com os objetivos de aprendizagem. Ou seja: há um desnivelamento entre o conteúdo ensinado e o que se queria descobrir com o teste.

“Nesse exemplo da matemática, vemos que os estudantes estão aprendendo regras em vez de aprender a disciplina. A questão está bem formulada, mas tem a intenção de fazer com que o estudante avalie a razoabilidade da solução por ele escolhida frente ao problema”, explica. “Se apenas 23% acertam, isso sugere que o pessoal da instrução [os professores] não está alinhado com o que se deseja.” Segundo Anderson, os resultados mostram que muitos estudantes aparentemente leem o item concentrando-se apenas na aplicação do algoritmo – as respostas mostram isso.

Teoria
Um dos caminhos propostos por Lorin Anderson para ajustar essa discrepância entre avaliação e ensino é adotar, tanto na organização das avaliações como na formulação do currículo uma matriz de classificação (taxonomia) dos objetivos educacionais que faça sentido para os professores. Essa matriz tem por base a chamada Taxonomia de Bloom, proposta na década de 1940 por Benjamin S. Bloom, e revisada nos anos 1990 por um grupo de seis pesquisadores, entre eles o próprio Anderson. O trabalho foi liderado por David Krathwohl, um dos autores do original. O resultado dessas reuniões foi a publicação, em 2001, de “A Taxonomy for Learning, Teaching, and Assessing: A Revised of Bloom’s Taxonomy”.

Uma das dimensões da matriz proposta na taxonomia revisada de Bloom dá conta dos processos cognitivos, dispostos na seguinte ordem:

1. Lembrar
2. Entender
3. Aplicar
4. Analisar
5. Avaliar
6. Criar

A outra dimensão diz respeito à tipologia do conhecimento, que pode ser:

A. Factual
B. Conceitual
C. Procedimental
D. Metacognitivo

Ao cruzar essas duas dimensões, é possível classificar todos os objetivos de aprendizagem, segundo os pesquisadores. “E não há uma preocupação com o acúmulo hierárquico do conhecimento, algo que era presente, e bastante criticado, na taxonomia original de Bloom”, explica Anderson.

Essa organização faz com que a conexão entre os itens das avaliações e os objetivos de aprendizagem se dê por meio de verbos e não por meio dos conteúdos. “Se um objetivo de aprendizagem contempla o verbo ‘classificar’, então a questão do teste tem de pedir aos estudantes que ‘classifiquem’ algo”, exemplifica Anderson.

Autocrítica
Ao responder perguntas da plateia, Anderson surpreendeu ao destacar que, em seu país, os Estados Unidos, os testes infelizmente vêm sendo utilizados apenas para classificar e ranquear escolas. “É a única coisa que sabemos fazer”, ironizou. “Nunca seremos o sucesso de Ontario – se acontecer, será em lugares pequenos. Isso porque, no meu país, acredita-se que existem alunos incapazes de aprender. E também atribuímos os melhores professores aos melhores alunos, algo que não faz o menor sentido.”

Para ver a apresentação completa de Lorin Anderson, clique aqui.

 "Avaliações não contribuem só para as necessidades individuais, mas beneficiam todos os alunos da turma", afirma pesquisador

 Bruce Rodrigues esteve no Seminário Internacional Devolutivas das Avaliações de Larga Escala

Os resultados e dados fornecidos pelos processos de avaliação educacional em larga escala devem servir tanto para identificar dificuldades de alunos específicos como para se ter plena noção dos problemas de aprendizagem de uma turma, de uma escola ou de uma região como um todo. A opinião é do pesquisador Bruce Rodrigues, um dos convidados do Seminário Internacional Devolutivas das Avaliações de Larga Escala, que ocorreu no dia 12 de março, em Brasília, na sede do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep).

Rodrigues é educador há 28 anos e, atualmente, é Chief Executive Officer (CEO) do Education Quality and Accountability, de Ontário (Canadá). Foi diretor de Educação do Toronto Catholic District School Board e já participou de reformas educacionais e da elaboração de currículos em nível local e nacional – tem extensa experiência com avaliações e devolutivas de avaliação relacionadas aos desafios de ensino e à aprendizagem dos alunos.

O Canadá tem 34 milhões de habitantes. 13,5 milhões residem em Ontario, onde todo o processo avaliativo é feito pelos professores. “É complexo, mas podemos ter até 1.200 pessoas trabalhando ao mesmo tempo nele”, conta. Os resultados dos testes são entregues no prazo de 12 semanas. “Temos uma equipe interna que supervisiona todo o trabalho, o que torna tudo mais eficiente.

As avaliações são anuais para o terceiro, sexto, nono e décimo anos, sendo que os dois primeiros níveis fazem parte da chamada Elementary School (equivalente ao nosso Ensino Fundamental) e, os dois últimos, da Secondary School (equivalente ao nosso Ensino Médio). A criação dos itens (questões dos testes) conta com a participação dos professores de cada área. “Eles conhecem as expectativas de aprendizagem e criam os itens individualmente”, explica. Segundo ele, cerca de 100 funcionários trabalham nesse setor em tempo integral. 

Resultados
Segundo Rodrigues, as evidencias são colhidas de diversas maneiras. Por exemplo: algumas áreas-chave dos resultados da prova dependem do contexto específico da escola, atitudes e comportamentos dos alunos em relação à aprendizagem e ao ambiente escolar.

“É preciso olhar para todos os fatores variáveis que podem ser responsáveis pelo desempenho. Uma vez que temos uma boa ideia com base na evidência para o desempenho específico, então temos de resolver isso”, explica. “Para fazer uma diferença ampla, precisamos identificar as estratégias de alto rendimento que estão funcionando e não tentar reproduzi-las, mas transformá-las com base no contexto individual.”

Segundo ele, da forma com que o processo é feito em Ontario, é possível o professor saber se alunos estão desempenhando bem ou não. É tudo organizado por cores e o nível de detalhamento é alto”, diz Rodrigues. “Queremos demonstrar aos professores que é possível ser muito específico a respeito do que é necessário, rastreando o que faz a diferença no desempenho. Queremos que todos tenha sucesso. Estamos falando de equidade, todos com oportunidades iguais.”
 
Após as avaliações, são produzidos e enviados às escolas relatórios individuais de cada estudante, de cada escola e de cada província, com os desempenhos de leitura e matemática. Os relatórios podem também ser personalizados digitalmente, numa plataforma de internet. “Dá para pegar um grupo de cinco alunos, por exemplo, e perceber como eles vêm aprendendo nos últimos anos ou quais respostas foram mais frequentes em determinada questão”, diz.

Currículo
As avaliações de Ontario estão intimamente ligadas ao currículo, que levou um período de três anos para ser desenvolvido. Apesar de termos um banco de itens pronto, todos os anos novos itens são discutidos e testados. 

“Os resultados da avaliação são o primeiro passo das evidências necessárias para apoiar a prática reflexiva do professor que, com isso, pode se concentrar muito pessoal e precisamente sobre o que um aluno em particular necessita para avançar. Com isso, o professor é capaz de diferenciar o ensino para apoiar o estilo de aprendizagem e áreas de crescimento para cada um”, explica ele. “As informações obtidas no processo não só contribuem para as necessidades individuais, mas também beneficiam todos os alunos.”

Ele ainda destaca a importância do professor em todo o processo – dentro da sala de aula e na aplicação dos testes. “É ele quem conhece melhor o aluno e sabe a melhor forma de intervir. É o professor quem tem o controle sobre a formação do aluno.”, afirma. 

Para ver a apresentação completa de Bruce Rodrigues, clique aqui.

"Avaliações de larga escala precisam respeitar a diversidade do país", afirma pesquisador espanhol

Para Jesús Jornet Meliá, da Universidade de Valência, definição dos padrões que permitem analisar resultados de uma avaliação precisa ter a participação de especialistas em currículo e professores

A construção de um teste de larga escala deve estar sempre pautada na combinação entre dois aspectos: o juízo pedagógico, que define os níveis de proficiência e os descritores das competências, e os dados empíricos, que determinam pontuações de corte, questões âncora e dão confiabilidade técnica aos testes. A opinião é do professor Jesús Jornet Meliá, doutor em Filosofia e Ciências da Educação pela Universitat de València-Estudi General (UVEG), onde é docente do Departamento de Métodos de Investigação e de Diagnóstico da Educação desde 1984 e, desde 2007, catedrático de Medição e Avaliação Educativa do mesmo departamento.

O espanhol foi um dos palestrantes do Seminário Internacional Devolutivas das Avaliações de Larga Escala, que ocorreu no dia 12 de março, em Brasília, na sede do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). O evento foi uma realização do Inep, do movimento Todos Pela Educação e da Associação Brasileira de Avaliação Educacional (Abave).

Para atender ao primeiro aspecto, Meliá sugere que é essencial a formação de comitês que tenham a participação de especialistas em pedagogia, em currículo e professores que sejam capazes de trazer ao plano geral da avaliação toda a diversidade cultural, étnica e social do país. Somente com essa composição será possível conquistar validade para a avaliação e, em consequência, dar a ela utilidade na tomada de decisões e na definição ou na alteração de políticas educacionais.

Para o segundo aspecto, Meliá afirma que já se avançou muito. “Temos bons modelos psicométricos, temos ferramentas boas. O desafio é ampliar esse olhar, pois continuamos com o problema clássico de esquecer a validade”, argumenta o especialista.

Meliá usa como exemplo a própria avaliação tradicional comum nas escolas, que traça uma média e afirma: os que estão acima estão aprovados, os que estão abaixo, reprovados. Estes sabem, estes não sabem. “Esse critério absoluto de qualidade não nos serve”, pondera o pesquisador. “A taxonomia proposta por Lorin Anderson é uma excelente maneira de começar a quebrar esse critério absoluto”, diz.

Além disso, segundo o pesquisador, os tipos de padrões a ser desenvolvidos devem estar coerentes com os objetivos do plano geral da avaliação em questão. "Quando falamos de métodos e da determinação de padrões, temos que nos concentrar em quais deles devemos usar para não haver confusão. Um padrão que serve para avaliar o estudante não serve para avaliar uma rede de ensino", afirma o professor. Segundo ele, a finalidade de um processo de determinação de padrões é fornecer um sistema de interpretação das pontuações das provas que esteja “a serviço da tomada de decisões e da comunicação dos resultados”.

Conclui o pesquisador: “Precisamos partir do pressuposto que Educação é para todos. Nas provas de larga escala, fazemos uma redução muito forte no plano de avaliação. O sistema está bem ou o sistema está mal. Miramos apenas o produto. Mas a Educação se dá em muitos cenários. Os formais e informais, os étnico-raciais, a matiz social, tudo está incluindo e precisa ser considerado na hora de avaliar. Não podemos perseguir um padrão fechado, mas contextualizado. Os padrões serão melhores se representam a diversidade”.

Para ver a apresentação completa de Jesús Jornet Meliá, clique aqui.

Todos pela Educação