Como os dados gerados pelas avaliações externas de desempenho têm sido usados pelos gestores e o que emperra o aproveitamento de todo o potencial dessas informações

Fonte: Revista Educação

Ainda no primeiro semestre deste ano, escolas e sociedade em geral conhecerão os resultados das provas do Sistema de Avaliação da Educação Básica (Saeb), aplicadas a mais de sete milhões de estudantes em 2013. Criado para ser um termômetro da situação educacional brasileira, o sistema enfrenta dificuldades para se converter em práticas na escola ou políticas públicas orientadas por indicadores de desempenho, o que faz com que muitos se perguntem: afinal, os dados gerados pelas avaliações de larga escala se transformam no quê?

Como se sabe, o Saeb é composto por três exames. Enquanto a Avaliação Nacional da Alfabetização (ANA) verifica os níveis de alfabetização dos alunos do 3º ano do ensino fundamental, a Avaliação Nacional da Educação Básica (Aneb) e a Prova Brasil avaliam o desempenho em matemática e língua portuguesa dos estudantes do 5º e 9º anos do ensino fundamental e os do 3º ano do ensino médio. Os primeiros resultados a serem publicados neste ano são da ANA, realizada pela primeira vez no ano passado. As informações serão liberadas para as escolas em março e, para o público, até 31 de maio, segundo previsões.

Já a Avaliação Nacional do Rendimento Escolar (Anresc), mais conhecida como Prova Brasil, terá seus dados divulgados em junho para diretores e professores, e estará disponível para consulta pública até 31 de julho. Até essa data, também serão conhecidos os resultados da Aneb. Esta última não é enviada antes para as escolas por se tratar de um exame amostral que avalia as redes e sistemas de ensino, e não cada escola individualmente.

Mapa desregulado

Para o ex-presidente do Inep e atual membro do Conselho Nacional de Educação (CNE) Reynaldo Fernandes, os resultados do Saeb funcionam como um termômetro do que está dando certo e do que precisa ser melhorado na educação, além de um radar para identificar as boas escolas e, eventualmente, práticas que possam ser retransmitidas. Mas mapear a situação não é suficiente, diz. “Os resultados também devem servir para a tomada de decisões, para o desenvolvimento de projetos, para a realocação de recursos, enfim, para a realização de iniciativas que contribuam para a melhoria do ensino”, destaca Reynaldo, que também é professor da Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo (USP).

Como orientar os resultados para um efetivo impacto nas escolas é o grande desafio do sistema de avaliação hoje. Para Ocimar Munhoz Alavarse, professor da Faculdade de Educação da USP, o bom uso dos indicadores é um fenômeno isolado, restrito a poucas escolas. “Estão gastando muito dinheiro com as avaliações externas, mas a rigor não sabemos como as informações têm sido usadas efetivamente”, critica o especialista, também coordenador do Grupo de Estudos e Pesquisas em Avaliação Educacional (Gepave).

Casos de escolas que utilizam os indicadores para nortear suas ações (veja box na página 70) não são maioria, mas sim resultados do empenho individual dos profissionais que estão à frente daquela escola, reforça Alavarse.

“Nossos estudos têm evidenciado que os resultados nem sempre operam alinhados ao seu projeto educativo, assumindo, em vista disso, caráter periférico no planejamento da escola”, atestam os doutores em Educação Elton Luiz Nardi e Marilda Pasqual Schneider. Ambos são pesquisadores do programa pós-graduação em Educação da Universidade do Oeste de Santa Catarina (Unoesc) e, desde 2011, estão envolvidos em um estudo sobre o uso de indicadores de qualidade na rede municipal de ensino da região.

Vários fatores explicariam a falta de uso dos indicadores. Para Ocimar, entre eles está a demora na entrega dos resultados às escolas. “Até que os dados sejam liberados e uma análise seja feita, já se passou quase um ano da realização da prova. Isso quando não há atrasos. No ano passado havia escolas recebendo os resultados da prova de 2011”, afirma. Nessas situações, a função do exame de alertar os educadores dos pontos que precisam ser reforçados em sala de aula fica invalidada. Todos os esforços despendidos na realização do teste são desperdiçados.

Interpretação dos dados

No Centro de Educação Fundamental (CEF) 10 do Gama, em Brasília (DF), o boletim da Prova Brasil é consultado apenas superficialmente pelos professores e não serve propriamente para orientar a preparação das aulas, a escolha das técnicas didáticas, a readequação do projeto pedagógico e outras medidas.

Flavia Alvares, supervisora da instituição, admite que muitos do¬centes sequer consultam o documento. “Eles comentam que os relatórios são muito extensos e que têm dificuldades para fazer a leitura dos dados. A linguagem é muito técnica”, diz. “Na direção analisamos os boletins e depois os disponibilizamos aos professores. Fica a cargo deles ler o material. Mas sabemos que muitos não fazem isso”, admite.

A falta de tempo dos docentes e, sobretudo, a falta de preparo técnico para fazer a interpretação dos dados estão na origem dessa situação. Segundo Alavarse, os cursos de licenciatura dão pouca ênfase – ou nenhuma – aos processos de avaliação. “As faculdades não estão ensinando como fazer uma prova, como corrigi-la, como comparar resultados, etc. Isso precisaria ser corrigido. Também poderiam ser realizados cursos de capacitação para dar um suporte à interpretação e utilização dos resultados”, ressalta.

Sobre a compreensão do material, Reynaldo Fernandes reconhece que a linguagem pode parecer técnica para um não especialista, mas o essencial, que é saber se a escola está com um desempenho adequado, pode ser facilmente compreendido, em sua opinião. Tanto as notas da Aneb como da Prova Brasil vão de 0 a 500. As notas são agrupadas em escalas de proficiência, que resumem as competências e habilidades conquistadas pelos alunos. No boletim das escolas, são informadas as proficiências médias em língua portuguesa e matemática e a distribuição percentual dos alunos em cada um dos níveis.

Desempenho adequado

A supervisora do CEF 10 do Gama também não vê os resultados como um reflexo das condições da escola, o que inclui as práticas pedagógicas adotadas em sala de aula. Em sua visão, eles expressam meramente o desempenho de um grupo de estudantes. “Além [do fato de serem inacessíveis], os resultados se referem aos meninos que já saíram da escola”, lamenta.

A instituição oferece o 6º e o 7º ano e a 7ª e a 8ª série – a mudança para o ensino fundamental de nove anos está sendo feita gradual¬mente. Os resultados da Prova Brasil de 2011 mostraram que apenas 27% dos alunos da 8ª série tinham aprendizado adequado em português. Em matemática, esse total era de 14%. No exame anterior (2009), o percentual de alunos com aprendizado adequado em português era de 30% e, em matemática, de 12%. Segundo o Censo Escolar, nessa instituição há 833 alunos matriculados nos anos finais do ensino fundamental.

O critério de aprendizado adequado é do movimento Todos pela Educação, pois não há um parâmetro oficial do governo. Nesse critério são enquadrados os alunos do 9º ano (antiga 8ª série) que na Prova Brasil atingirem, no mínimo, 275 pontos em língua portuguesa e 300 pontos em matemática. No 5º ano são esperados 200 pontos em língua portuguesa e 225 pontos em matemática, no mínimo.

Para Reynaldo Fernandes, a dificuldade em definir oficialmente um desempenho adequado ou desejado está no fato de os alunos viverem condições muito distintas no Brasil. “Os estudantes têm formações muito diferentes, começam a educação em tempos muito diferentes”, argumenta. “Se fosse estabelecida uma meta, os grupos favorecidos poderiam considerá-la muito fácil e os menos favorecidos, muito difícil.” Mas as instituições podem definir suas próprias metas para impulsionar melhorias, defende. “As escolas de boa qualidade são as que geralmente fazem uso dessa informação”, aponta.

Quem presta a conta

Para além da dimensão do uso dos indicadores por cada escola, o Ministério da Educação e as secretarias Estaduais e Municipais também deveriam partir desses dados para definir ações para correção de distorções e redução das desigualdades no sistema educacional brasileiro. Mas, na opinião de Reynaldo Fernandes, ainda há pouca prestação de contas do poder público na área educacional no Brasil. “O ministro da Fazenda tem de prestar contas quando a inflação sobe. Então por que o ministro ou os secretários de Educação não precisam prestar contas sobre a situação da educação?”, opina.

Além da demora na divulgação dos dados e da dificuldade em interpretar os resultados, o uso de todo o potencial dessas informações emperra na falta de autonomia dos agentes educacionais, acredita André Portela Souza, professor da Fundação Getulio Vargas (FGV). Para exemplificar, ele cita o caso dos secretários de Educação que não têm condições de substituir – em situações em que a medida se mostre necessária – o diretor de uma es¬cola que apresente recorrentemente baixo desempenho nas avaliações externas. “Além das questões legais, isso não seria possível sem que fosse feita uma atribuição clara de responsabilidades dos que estão implicados no processo,” diz André Portela, mencionando a famosa e às vezes criticada accountability, termo americano que se refere ao estabelecimento das responsabilidades de cada agente participante do processo e a consequente cobrança pelos resultados.

Mas, atualmente, o ‘dono’ dos resultados muda conforme seu teor. “Guardadas as exceções, temos percebido que as cobranças motivadas pelo alcance de resultados pouco atraentes tendem a se concentrar sobre a escola e seus agentes, sendo menos visíveis a cobrança e a exposição dos órgãos públicos que, não raro, buscam associar sua atuação com os resultados de escolas de sua rede que obtiveram boa classificação”, apontam os pesquisadoras da Unoesc.

Quando a discussão atinge esse ponto, o problema se desdobra em mais uma camada, demonstrando a complexidade da situação. Para atribuir responsabilidades e, consequentemente, cobrar resultados e premiar bons desempenhos, não bastariam as atuais avaliações externas. Tomar qualquer decisão com base em seus resultados produziria, no mínimo, injustiças.

Como lidar com todas essas variáveis e evitar que os exames sejam suscetíveis a imprecisões geradas, principalmente, pelo fato de as avaliações medirem o desempenho dos alunos em um único dia? “Seria preciso criar um sistema que contemplasse várias dimensões e não medisse os resultados de um único ano”, opina Souza, da FGV. A situação socioeconômica de cada aluno também interfere na sua nota, independentemente da qualidade do professor e da escola. Isso foi demonstrado por dois pesquisadores do Ipea em Brasil em desenvolvimento: Estado, planejamento e políticas públicas, publicado recentemente. Por fim, a nota ainda está sujeita à influência de fatores externos que, da mesma forma, fogem do controle da escola.

Bases diferentes

Maria Aparecida Klimpel do Nascimento, diretora da escola estadual São Francisco, em Campo Grande (MS), explica que em 2009 a escola recebeu um grande contingente de alunos egressos de outras instituições. Esses estudantes, segundo a diretora da escola onde 381 jovens estão matriculados, não tinham a mesma base de estudos daqueles que estavam na São Francisco desde o 1º ano, o que pode ter influenciado o resultado da instituição na Prova Brasil de 2013. “Não sabemos como nosso desempenho será avaliado”, desabafa.

Independentemente do estabelecimento ou não desses mecanismos que poderiam, eventualmente, otimizar o aproveitamento das informações, Ocimar Alavarse enfatiza a importância de se repensar os processos de ensino, uma necessidade cada vez mais evidente. “Ninguém emagrece subindo na balança toda hora. Da mesma forma, só medir os resultados não vai provocar uma melhora na educação.” Ou seja, a medida que importa é o esforço da educação para entrar em forma.

Ênfase na formação

Instituições de ensino que usam os indicadores das avaliações em larga escala para definir seus projetos pedagógicos têm investido, principalmente, em formação de professores. A Escola Estadual Elze Mendes de Aguiar, localizada no município de Mucambo, a pouco mais de 300 quilômetros de Fortaleza (CE), decidiu focar a capacitação dos docentes a partir dos resultados de 2009. Desde então, tanto os coordenadores pedagógicos como os professores recebem treinamentos frequentes – alguns mensais e outros semanais. Os educadores também são orientados a acompanhar de perto o desenvolvimento de cada aluno. Tudo é registrado em relatórios, que são consultados por todos os membros da equipe pedagógica. Há exames toda semana e os estudantes em dificuldades recebem atendimento no contraturno.

Em 2009, o percentual de alunos com aprendizado adequado em matemática e português era de 35% e 36%, respectivamente. Em 2011, esses números subiram para 86% e 81%. Em matemática houve um acréscimo de 51 pontos percentuais e, em português, de 45 pontos percentuais. O programa também procurou envolver mais os pais, que são chamados com frequência à escola para acompanhar a educação dos filhos e se envolver mais nas atividades escolares. “Se eles não vêm à escola, nós vamos até a casa deles”, reforça a diretora da escola Mairla Linhares.

Em Nova Ponte (MG), a escola municipal São Miguel também apostou na formação dos professores para melhorar seus resultados na Prova Brasil. Distante quase 500 quilômetros de Belo Horizonte, a instituição reservou duas horas semanais do tempo dos docentes para a realização de encontros com o coordenador pedagógico.

A ocasião é utilizada para discutir metodologias de ensino e tratar dos problemas detectados no dia a dia em sala de aula. Quando são encontradas deficiências no ensino de um determinado assunto, um professor especialista naquela área é convidado para dar uma aula aos colegas e propor soluções que ajudem a superar o desafio.

Os pais também passaram a participar mais da rotina escolar, o que criou oportunidades para a parceria que nasceu entre eles e os docentes. De acordo com a diretora da escola, Gilzimar Pereira Freitas Silva, pelo fato de Uberlândia – que está a menos de uma hora de Nova Ponte – ser um polo universitário, muitos pais cobram a qualidade do ensino, pois querem ver seus filhos nos bancos escolares das universidades e faculdades vizinhas.

Na Prova Brasil de 2011, o percentual de alunos com aprendizado adequado em português era de 69% (51% em 2009) no 5º ano e de 78% (15%) no 9º ano. Em matemática, os índices eram de 74% (66% em 2009) no 5º ano e 68% (31%) no 9º ano. “Nossa preocupação é com a aprendizagem e não com o resultado de uma prova. Mas é claro que ninguém quer ficar na lanterna”, declara.

Todos pela Educação