Eis a entrevista com Renan Pieri, doutorando em Economia pela Fundação Getúlio Vargas de São Paulo, professor da Universidade Presbiteriana Mackenzie e consultor em Avaliação de Políticas Públicas, sobre o artigo dele publicado no último post. 

Você indica o trabalho de Carnoy e Loeb (2002) como evidência do impacto positivo da política de bônus sobre qualidade escolar. Entretanto, há diversos outros trabalhos sobre o mesmo tema que apontam resultados mistos ou nulos. Você diria que há consenso no meio acadêmico sobre os efeitos da política de bônus em relação à aprendizagem ou à qualidade educacional?

 O que o trabalho supracitado aponta é que existe efeito positivo da implementação de bônus (ou o que eles chamam de “accountability forte”) para a média das escolas norte-americanas. Como todo exercício estatístico do tipo, isso não significa que 1) o resultado do trabalho vale para todas as escolas norte-americanas e muito menos que 2) esse resultado pode ser diretamente extrapolado para outras realidades que não a dos EUA. O sucesso desse tipo de política vai depender muito das condições do mercado de trabalho em que ela for implementada, do perfil dos profissionais e do ambiente educacional. Por isso, o ideal seria que a decisão de implementação ou não desse tipo de política fosse local. Eu mesmo pondero a questão da política de bônus na minha dissertação de mestrado ao apontar o ambiente eleitoral como um possível substituto à bonificação. A meu ver, com a divulgação do Ideb, as pessoas podem aprender na sua comunidade o que funciona para gerar proficiência e têm o canal das urnas para se manifestar e responsabilizar os gestores políticos.

Quando você diz que “a adoção de remuneração variável no pagamento é prática recorrente no setor privado”, leva o leitor a pensar que a escola funciona como uma empresa. Essa comparação é mesmo justa?

Em partes. A comparação no artigo é mais metafórica, mas acho que cabe comparação, sim. O que uma escola tem de similar a qualquer empresa do setor privado é um grupo de colaboradores que precisa pagar suas contas, ser motivado, tem planos e sonhos para a carreira e possivelmente gosta do que faz. Embora a docência seja uma vocação, qualquer pessoa desanima sem um plano de carreira adequado. E o trabalhador do setor público, em geral, sofre com o sistema de premiação engessado como o que temos atualmente. Se um professor se dedica e persiste na carreira, a maior premiação que ele pode obter é um cargo burocrático não relacionado à docência. O setor privado lida com isso um pouco melhor. Obviamente, uma empresa privada e uma escola pública têm naturezas muito distintas, pois a primeira visa substancialmente o lucro, que é mensurável. Já a segunda produz um bem público que todos nós sabemos que é importante, mas ele não tem um preço. Assim, é mais fácil elaborar um plano de carreira dentro do setor privado. A ideia de se pagar um bônus para o professor pode ser uma das dimensões de um plano de carreira. O problema que às vezes surge não é o pagamento de bônus, mas como criar uma regra de bônus para professores e diretores que seja percebida por eles como justa, motivadora, factível de ser alcançada e cujos critérios sejam amplamente conhecidos. Não me parece que uma regra de bônus baseada somente no Ideb atenda a todos esses pontos, pelas razões que coloquei no texto. O bônus é um estímulo financeiro direto, mas um plano de carreira adequado poderia prever outras formas de estímulo. A progressão na carreira, por exemplo, de acordo com formação, desempenho em testes, assiduidade no trabalho, avaliação dos pares e experiência, poderia funcionar.

Você lista diversas limitações do Ideb como medida capaz de aferir a qualidade educacional das escolas brasileiras. Qual considera a mais grave?

Um índice resume várias dimensões de informações em apenas uma escala. O papel do índice é permitir um fácil ranqueamento das unidades do seu objeto de estudo a fim de permitir comparações de desempenho. No caso da educação, o ideal seria ter vários índices captando áreas distintas: infraestrutura escolar, nível socioeconômico, proficiência, absenteísmo, qualidade do livro didático, taxa de aprovação, ambiente de trabalho do professor, formação do professor, dentre outros possíveis. Assim, acho que não há nenhum problema específico com o Ideb. O problema é construir metas a partir de um único índice. Isso porque com um único índice a informação fica muito condensada e as pessoas têm dificuldade para entender o que precisam fazer para atingir meta. Além disso, como bem apontou o Ernesto Faria em outro artigo para o blog, precisaríamos ter uma série histórica de índices razoavelmente longa para podermos construir essas metas (para usarmos somente critérios estatísticos para construir a meta), pois caso contrário a chance de errarmos a meta aumenta muito.

É possível corrigir as limitações que você aponta? Ou precisaríamos de um novo índice?

Para o fim que o Ideb se propõe (de ser um índice único de qualidade da educação e fazer um primeiro mapeamento das redes) acho que ele é bom. Mas precisamos criar outros índices auxiliares e rever a questão das metas.

Há consenso no meio acadêmico brasileiro sobre essas limitações? Por que poucos pesquisadores se manifestam a respeito do tema?

Certamente se fala pouco sobre os índices. Me parece que as discussões ainda se limitam a respeito do Ideb dever ou não ser divulgado. Como deixei claro no texto, acho um avanço a divulgação do Ideb por escola. Temos um sério problema de baixa proficiência e a comunidade de cada escola tem que participar desse debate. Vejo muita gente no meio acadêmico que discorda disso. Eu compreendo que o Ideb influencia o projeto pedagógico das escolas e isso pode não ser saudável, sobretudo em um contexto de metas relacionadas ao índice. Até por isso defendo um conjunto mais amplo de índices e um plano de carreira completo ao invés de uma simples política de bônus. Mas precisamos sair desse debate inicial para discutirmos os componentes que queremos na nossa política de accountability.

http://www.educacaoepesquisa.blog.br

“A metodologia das metas do Ideb não poderia ser aprovada sequer em um trabalho de conclusão de graduação”, diz pesquisador

Eis a entrevista que fiz com Ernesto Martins Faria, economista e especialista em dados educacionais, sobre o artigo dele publicado no último post. 

1) Você aponta diversas falhas das metas do Ideb. Qual seria o pior problema?

Primeiramente, quero dizer que me ative aos problemas técnicos no texto, então aproveitarei essa entrevista para falar mais sobre as implicações desses problemas na prática. É importante deixar claro que elas são graves. Tenho segurança em dizer que a metodologia utilizada para a construção das metas não poderia ser aprovada sequer em um trabalho de conclusão de graduação. E digo isso sem deixar de respeitar as pessoas que construíram as metas, até por que me parece que, pelo perfil das mesmas, as falhas até são um pouco compreensíveis. O que é inadmissível é não ter havido um debate acadêmico maior a partir da criação do Ideb e de suas metas, principalmente pelo fato de muita gente estar sendo afetada pelos problemas que apontei.

Entre os problemas na formulação das metas talvez o mais grave tenha sido o olhar apenas para o valor do Ideb, sem uma atenção ao que o compõe (taxa de aprovação e desempenho na Prova Brasil). O esforço necessário para aumentar a taxa de aprovação é muito diferente do esforço necessário para melhorar o desempenho na prova. Isso vale para um caso de um Ideb muito baixo, como a Ana Aranha apontou em sua reportagem, mas também vale para casos em que o Ideb é mais alto. Por exemplo, uma rede municipal com um Ideb de 4,0 e com uma taxa de aprovação de 80% tem um desafio diferente de uma rede com um Ideb de 4,0 só que com uma taxa de aprovação de 100%. Se não houver problemas de abandono escolar, nessa rede pode-se aumentar a aprovação de forma unilateral, com “simples canetadas”. O que se costuma chamar de “promoção automática”. Então, não estamos falando de metas que falham com alguns. Os problemas conceituais na construção das metas geraram distorções de uma forma geral.

2) O que você quer dizer com "pelo perfil das pessoas que fizeram as metas"? 

O criador do Ideb é um economista, e os economistas geralmente acreditam muito na ideia de que as pessoas respondem a incentivos, às vezes atentando pouco às distorções que uma política pode causar. Além disso, a função logística é usada para prever crescimento em outras áreas (algumas com uma menor complexidade em relação à educação). Faltou para o Inep/MEC procurar saber o impacto que as metas teriam na gestão das escolas e redes, e também faltou um olhar mais atento ao indicador. Mas o chocante é, mesmo com a fragilidade das metas, não ter havido um debate acadêmico.

3) Sobre a questão sobre o MEC/Inep terem considerado apenas o resultado de 2005 para a construção das metas. Qual seria a solução na época, já que o Ideb foi criado em 2007? Haveria um jeito de ter se calculado um Ideb "retroativo"? 

O Ideb foi criado em 2007 e a Prova Brasil em 2005. Então, antes da aplicação da Prova Brasil 2007 se criou o Ideb, e se calculou o que teria sido o Ideb 2005. A partir dos resultados de 2005 se fez metas para 2007 e para as demais avaliações futuras. Não é possível ter um indicador anterior a 2005 por esse ser o ano da primeira aplicação da Prova Brasil.

Considero que o importante em 2007 era criar um estímulo para as escolas e redes melhorarem em relação a elas mesmas. Havia poucos elementos para se dizer o quanto, pois as escolas e redes ainda tinham pouca familiaridade com a Prova Brasil, e menos ainda com a cultura de metas. Mas o problema dessa questão é mais grave agora, pois o que foi estipulado em 2005 não está fazendo sentido para muitas gestões que estão assumindo. Estão recebendo o que alguns chamariam de “herança bendita” ou “herança maldita”, a depender do patamar de Ideb em 2011 (ano da última avaliação).

4) Quais as consequências das outras falhas que você apresenta para escolas e redes na prática?

Esses problemas afetaram mais as escolas e redes com baixo ou alto desempenho. Escolas e redes com resultados mais medianos foram pouco afetadas. Pelo fato de a função logística pressupor que no futuro seja possível atingir um Ideb de 9,9, escolas e redes com desempenho alto em 2005 tinham que, pelas metas, evoluir ainda mais em direção a esse objetivo inatingível. Por isso, se vê metas absurdas nos patamares de 8,5 e 9.

Ainda falando sobre as escolas com bom desempenho, é importante se atentar ao fato de que o perfil dos alunos de uma avaliação para outra pode mudar. Por isso, metas muito ambiciosas se tornam um problema, pois gera um incentivo para a escola admitir apenas alunos para os quais é mais fácil garantir o aprendizado. Uma escola não pode ser punida por ter ido bem em uma avaliação, e é isso que se fez com as escolas que foram bem em 2005 ao se esperar que elas deverão sempre evoluir a partir do resultado desse ano. Por outro lado, escolas que foram muito mal em 2005 foram beneficiadas. O absurdo feito de apontar que uma rede que conseguiu um Ideb abaixo de 3,0 nos anos iniciais bateu a sua meta e uma rede que conseguiu um Ideb maior que 7 não bateu acho que já responde a sua pergunta.

5) Por que essas questões não são mais debatidas? Por que há poucos pesquisadores (ou nenhum) falando sobre o assunto? 

Existem vários determinantes para isso. Primeiramente, vou destacar um: o debate sobre avaliações e uso de dados quantitativos no Brasil. Existe um grupo muito resistente às avaliações em larga escala no país, o que faz com que quem defenda avaliações tenha medo de fazer críticas às mesmas e alimentar o discurso que se opõe a elas.

O grande problema de não colocar mais elementos no debate é que isso faz com que não avancemos no caminho de um sistema robusto de avaliações. Se as metas não conversam com a realidade, se os resultados não orientam o trabalho das escolas, e se a avaliação é pouco debatida entre os pesquisadores, certamente o investimento com as avaliações é ineficiente. Considero que é inegável a importância das avaliações, e mesmo com todos esses problemas, podemos ver que algumas escolas e redes evoluíram só pelo norte de haver um diagnóstico de como está o aprendizado dos alunos. As contribuições das avaliações e do Ideb, muito mais comunicável do que os resultados da Prova Brasil, são claras. Mas um sistema de avaliações tem que dar muito mais do que alguns números para as escolas e redes.

Há também o argumento de que as implicações dos problemas na formulação das metas são irrelevantes, com o argumento de que não existe uma grande bonificação vinculada ao cumprimento das metas. Primeiramente, esse argumento é equivocado, pois há incentivos que estão associados às metas. Um exemplo, é que a partir do Decreto do Plano De Metas Compromisso Todos Pela Educação, o antigo Programa Dinheiro Direto na Escola (PDDE), em vigor até o início desse ano, estabeleceu em 2007 que “todas as escolas públicas rurais de educação básica recebem uma parcela suplementar, de 50% do valor do repasse, e as escolas urbanas de ensino fundamental que cumpriram as metas intermediárias do Índice de Desenvolvimento da Educação Básica (Ideb) estipuladas também recebem essa parcela suplementar.”

Outro ponto que ilustra a relevância da questão é que, se a meta 7 do Plano Nacional de Educação for aprovada, haverá um incentivo ainda maior em se atribuir mais mecanismos de responsabilização para as escolas e redes. Por fim, o problema também é relevante pois, se eu não espero que as redes e escolas devem atingir o indicado pelas projeções, não posso chamá-las de metas. 

http://www.educacaoepesquisa.blog.br/?p=327