Filosofia x Matemática
Filosofia x Matemática: torturando dados do ENEM
O blog Avaliação Educacional, do professor Luiz Carlos de Freitas, publicou na ultima semana uma série de textos em que discute a pesquisa do Ipea que indica a obrigatoriedade do ensino de Filosofia e Sociologia como causa para o baixo rendimento dos alunos em Matemática.
(abaixo os textos compilados)
Neste longo post, dividido em várias partes, pretende-se agregar algumas considerações ao exame já feito por outros colegas ao estudo de Niquito, T. W. e Sachsida, A.. EFEITOS DA INSERÇÃO DAS DISCIPLINAS DE FILOSOFIA E SOCIOLOGIA NO ENSINO MÉDIO SOBRE O DESEMPENHO ESCOLAR. Texto para Discussão 2384. IPEA.
O estudo em questão é um exemplo de tentativa de se converter um “experimento natural” (a aplicação de um exame aos egressos do ensino médio com a finalidade principal de permitir ingresso às Universidades) em um “experimento controlado” com propósitos científicos.
Os autores do estudo do IPEA não escondem suas dificuldades. São realizados estudos com dados do ENEM – Exame Nacional do Ensino Médio – onde são constituídos dois grupos: um que atua como controle (estudantes que terminaram o ensino médio até 2009 (2008, 2007 e 2006) e outro que atua como grupo tratado ou experimental que concluiu o ensino médio nos três anos seguintes (2010, 2011 e 2012). O ano de 2009 é o divisor de águas pois neste ano tornou-se obrigatória a inclusão, no currículo do Ensino Médio, das disciplinas de Filosofia e Sociologia, objeto de verificação do estudo.
O estudo pretende identificar se a introdução destas disciplinas refletiu positiva ou negativamente nos resultados do ENEM. Note que os autores, para resolver o problema que se colocam, não planejam uma coleta específica de dados, pois isso seria inviável nesta escala e são obrigados a trabalhar com os dados tal qual se apresentam no ENEM. Esta é a dificuldade que os acompanha durante todo o tempo, e é natural quando se quer converter um “experimento natural” em um “experimento controlado”. Como anotam os autores:
“… um dos principais desafios da análise aqui pretendida é a escassez de informações relativas à avaliação de desempenho dos estudantes de ensino médio, e, nas poucas bases de dados existentes, configura-se como desafio adicional sua incompatibilidade ao longo do tempo, de modo a permitir que se realizem as estimativas desejadas e os testes de robustez para estas.”
“A principal base de dados utilizada neste estudo foi o desempenho dos alunos no Enem. O período pré-tratamento foi o ano de 2009 e o período pós-tratamento, o ano de 2012. Embora seja possível construir o experimento com base nessas informações, destaca-se que o Enem sofreu uma grande modificação no formato das provas em 2009, o que impossibilita a realização dos testes de robustez tradicionais para os modelos de diferenças em diferenças, uma vez que não há compatibilidade das avaliações antes e depois deste ano.” (p.16)
O relatório técnico da aplicação do ENEM 2009 e 2010 registra a mudança:
“Ocorre que no ano de 2009 o ENEM passa a calcular os resultados dos estudantes que fazem este exame pela Teoria da Resposta ao Item e com isso há uma mudança na escala do ENEM que passa a ter média de 500 pontos e desvio padrão de 100 pontos.”
Os autores se deparam então com um limite que entendem impossibilitar levar a aplicação do método da “diferença de diferença” até seu final, e optam por realizar um segundo estudo. Na metodologia informam:
“Assim, como forma de atestar a validade e a robustez dos resultados encontrados por meio dessa abordagem [diferença de diferenças], optou-se por realizar um segundo experimento, usando dados em painel [longitudinal], cuja unidade de identificação não são os indivíduos, mas as escolas. Os censos escolares da educação básica retratam as características do ensino fundamental e médio para todo o Brasil, disponibilizando informações acerca das escolas, das turmas, dos docentes e dos alunos. (p. 16)
Corti e outros discordam dos autores:
“O motivo pelo qual não foi realizado um teste de pressuposto, segundo os autores, é a limitação dos dados. Porém é possível realizar alguns testes com os próprios dados do Enem, mesmo que de forma limitada. Realizamos dois testes nesse sentido, utilizando duas variáveis conhecidamente influentes na nota do Enem: a escolaridade da mãe e a renda per capita. Nos dois casos, a hipótese das “tendências paralelas” não se confirmou. Ou seja, as diferenças internas entre os alunos não são semelhantes em 2009 e 2012.”
Mas os autores seguiram outro caminho e com um estudo complementar ao primeiro estudo vão, ao longo do período 2010-2015, tomar a nota (média) da escola no ENEM como um indicador do impacto entre a inserção de tais disciplinas (porcentagem de turmas destas disciplinas em cada escola) e os resultados da escola no ENEM. Não são mais as notas individuais dos alunos que realizam o ENEM, diretamente, que serão consideradas, mas sim a média dos alunos, daquela escola, que participaram do ENEMdurante a série 2010-2015. Ao longo desta série, vai aumentando o número de escolas que oferecem as disciplinas de Filosofia e Sociologia:
“Quando são analisadas as escolas que oferecem ambas as matérias para todas as turmas, verifica-se que, em 2010, estas eram menos da metade do total (48,5%), aumentando para 78,7% em 2015.” (p.17)
Contudo, tentando fugir do limite imposto pelos dados ao estudo 1, os autores contraem novos limites no estudo 2, como eles mesmos registrarão:
“É importante ressaltar, como visto na tabela 2, que nem todas as escolas passaram a cumprir a legislação já em 2009; portanto, pode haver, no grupo de tratados, pessoas que não tiveram, de fato, as disciplinas de filosofia e sociologia em seu ensino médio. Tampouco as informações contidas nos microdados do Enem permitem identificar os indivíduos que realmente foram afetados pela medida. Assim, como já destacado anteriormente, o grupo de tratados é formado pelo conjunto das pessoas potencialmente afetadas pela política.” (p. 20)
Assim, com este novo limite, introduzem um novo conceito: “pessoas potencialmente afetadas pela política”. Procurando “robustez”, são obrigados a reconhecer novos limites.
“… a partir de 2011, com o intuito de diminuir potenciais vieses nas informações disponibilizadas, o Inep passou a divulgar as notas médias apenas das escolas em que a taxa de participação dos alunos no Enem era igual ou superior a 50% (comparando-se o número de inscritos no exame com as matrículas registradas no censo educacional). Assim, a amostra deste estudo é limitada de acordo com esse critério.”
É importante agregar que, mesmo com 50% dos alunos de uma escola participando do ENEM, a nota da escola continua potencialmente falha em representar a escola, pois não é só a quantidade de alunos que conta, mas a representatividade dos 50% participantes em relação à composição real dos estudantes naquela escola. Os autores apontam uma parte do problema:
“Cabe considerar que a limitação imposta pelo indicador de desempenho da escola aqui escolhido pode excluir da amostra as escolas com baixa qualidade de ensino. É possível imaginar que, devido ao fato de o Enem não ser um exame obrigatório – de modo que os indivíduos se autosselecionam para sua realização, motivados por interesses individuais –, as escolas que não atingem uma taxa de participação de 50% são aquelas que oferecem piores condições de ensino aos alunos. Estes, não tendo motivação para comparecer ao exame, por acreditarem que seu desempenho não lhes trará os benefícios desejados (ingresso em curso superior e/ou premiação com bolsa de estudos), optam por não fazê-lo.” (p. 22-4)
Este é um problema. Mas, mesmo nas escolas que permaneceram na amostra por atingirem 50% dos seus estudantes no ENEM pode haver vieses de representatividade pois, como o ENEM é um exame voluntário, não se pode ter segurança que tal participação represente proporcionalmente a composição real dos estudantes da escola. Não é sem razão que se pede uma participação de 85% dos estudantes na Prova Brasil ou 95% no NAEP americano. Uma escola pode atingir 50% de seus estudantes e continuar a não ter representatividade de um de seus segmentos sócio-econômico, por exemplo. Todos sabemos da estreita relação entre desempenho e fatores sócio-econômicos que chegam a explicar até 70% do desempenho do aluno.
Aumentar para 50% a exigência para divulgação de notas da escola no ENEM melhora a qualidade da nota, mas isso não valida tal nota, necessariamente, como apta para basear conclusões científicas com pretensão de orientar política pública.
Outras possibilidades ainda existem para vieses. Como aponta Ernesto Martins Faria:
“O Sisu e o Fies podem ter atraído bons alunos para fazer o Enem ao aumentar suas chances de conseguir uma vaga. E talvez, por causa dessas mesmas oportunidades, a escola tenha passado a incentivar mais os alunos de baixo desempenho do que antes a fazer o Enem. São fatores que podem ter impactado.”
Se mais alunos com desempenho menor entram no ENEM, isso repercutiria negativamente na média da escola, pois seu desempenho no ENEM poderia ter sido menor do que os alunos de mais alto desempenho e nível sócio-econômico da mesma escola ao longo do tempo. Assim, outros fatores e não exatamente a introdução de Filosofia e Sociologia explicariam a queda nos desempenhos. Estas alterações ocorreram durante o período investigado pelos autores. Enfim, a nota do ENEM pode não captar a complexa realidade das escolas.
Como vimos, os autores, corretamente, não escondem os limites dos dados. Isso não basta para redimir os problemas dos dados, mas sem dúvida é louvável. A seção de metodologia do estudo, no entanto, se parece mais com uma longa sequência de pedidos de desculpa dos autores por usarem dados provenientes de um “experimento natural” não planejado para a realização de seus estudos científicos.
Anote-se, por fim, que em nenhum momento da apresentação da metodologia, os autores falam em “carga didática de Matemática ou de qualquer outra disciplina” ou “número de horas da disciplina de Matemática em cada escola”. Este dado não é mencionado.
Fiz questão de incluir estas longas citações para mostrar como a seção de metodologia do estudo é, na verdade, uma longa lista de “desculpas” pelo fato de se trabalhar com as limitações de um “estudo natural” (ENEM) que, agora, tem que se converter em um “experimento controlado”.
Se no primeiro estudo planejado pelos autores, o limite foi imposto pela mudança ocorrida no ENEM, que passou a calcular sua escala pela Teoria da Resposta ao Item (e revisão das matrizes de referência) no ano de 2009, no segundo estudo, o limite está dado pelo fato de que a nota da escola pode não representar, de fato, a situação dos estudantes da escola, pois o ENEM não é obrigatório e mesmo quando tem 50% de participantes de estudantes de uma determinada escola, este dado não pode ser tomado como uma amostra representativa dessa.
Por terem incluído indicadores educacionais como covariadas, acreditam que seus estudos estão controlados quanto ao efeito de outras variáveis educacionais.
“As variáveis de interesse são as notas dos indivíduos em cada uma das quatro áreas de conhecimento avaliadas pelo Enem (ciências da natureza; ciências humanas; linguagens e códigos; e matemática) e na redação. Entre as covariadas, foram utilizados o sexo do inscrito, sua cor/raça, idade, se reside em zona urbana ou rural, se reside em região metropolitana (RM)/capital ou no interior, se a família mora em casa própria, a escolaridade da mãe e a UF de residência. A escolha dessas variáveis teve como objetivo controlar as estimações pelas características individuais, familiares e locais que podem afetar o desempenho escolar. Essas informações foram extraídas dos microdados do Enem, disponibilizados pelo Inep.” (p.21)
Mas como apontam Corti e outros:
“Contudo, não basta incluir uma dezena de variáveis em uma equação linear para garantir que cada uma delas esteja atuando adequadamente como controle. Evidentemente, é melhor incluir as covariadas do que não incluir. Porém, sua inclusão não garante que as diferenças entre os candidatos tenham sido suficientemente controladas.”
No entanto, os autores seguem em frente, pois é o que têm. É preciso deixar claro, desde já, que reconhecer o limite de um estudo que se faz não constitui, em si, mecanismo de validação dos resultados que se obtêm.
Feitos os esclarecimentos metodológicos, os autores passam a apresentar os resultados e se esquecem por completo, até o final do texto, de fazer a relação entre os resultados e os limites do estudo, apontados durante a descrição da metodologia. Sequer sugerem, como de praxe, que mais estudos sejam realizados para corroborar seus achados ou superar os limites do estudo. Afirmam:
“Pode-se observar que, nas regiões Norte e Nordeste, o impacto da política sobre as notas nas áreas de ciências da natureza; ciências humanas; e linguagens e códigos é positivo, variando de 0,52% a 0,94%. Na região Sudeste, os efeitos para essas áreas são negativos (entre -0,75% e -1,49%). No Sul não há significância estatística para os parâmetros estimados e no Centro-Oeste os resultados são positivos, com exceção da área de linguagens e códigos, em que não há significância estatística. Para a redação, apenas as estimativas para o Norte e o Nordeste se mostram significantes, sendo o impacto negativo. Chama atenção o fato de os efeitos sobre o desempenho dos indivíduos na área de matemática serem negativo em todas as regiões – corroborando os resultados observados em nível nacional –, com exceção do Centro-Oeste, em que não há significância estatística.” (p. 31-2) (grifos meus).
E seguem com os vários recortes:
“A análise por Grandes Regiões mostra que, para as áreas de ciências da natureza, ciências humanas e linguagens e códigos, os efeitos variam de direção e significância para os diferentes portes municipais e regiões. No Norte, os resultados se mostram positivos para ciências da natureza nos municípios pequenos (0,85%) e médios (0,92%). No Nordeste, os efeitos são positivos nas três áreas de conhecimento nos municípios de porte pequeno e médio, variando entre 0,76% e 0,92%. No Sudeste, por sua vez, os impactos são negativos nas três áreas de conhecimento e em todos os portes. No Sul, o efeito estimado é positivo na área de ciências da natureza em municípios médios (0,7%) e negativo em linguagens e códigos nos municípios grandes (-0,59%). Por fim, no Centro-Oeste os impactos são positivos em ciências da natureza (1,4%) e ciências humanas (0,81%) em municípios pequenos, positivo em ciências da natureza em municípios grandes (1,18%) e negativo em linguagens e códigos em municípios médios (-0,73%).” (p.33) (grifos meus).
Os autores também examinaram o efeito da introdução de Filosofia e Sociologia para quem estudou todo o ensino médio na rede particular e na rede pública:
“Os resultados para o total do Brasil mostram que os efeitos sobre os alunos da rede pública são positivos nas áreas de ciências da natureza (0,64%), ciências humanas (0,4%) e linguagens e códigos (0,26%); e negativos nas áreas de matemática (-1,26%) e redação (-1,45%). Para os alunos provenientes de escolas particulares, os impactos são significativos apenas nas áreas de linguagens e códigos e de redação, sendo negativos na primeira (-0,49%) e positivos na segunda (2,02%).” (p. 35) (grifos meus).
Note-se como os supostos impactos da introdução de Filosofia e Sociologia no ensino médio, no conjunto das áreas medidas pelo ENEM, são uma verdadeira dança dos números a favor e contra a tese dos autores. Em meio a isso, os autores optam por destacar os resultados de Matemática, deixando os demais.
E assim, passam às considerações finais:
“De modo geral, alguns elementos dos resultados aqui apresentados merecem ser destacados. Primeiramente, fica evidente as diferenças do impacto da política sobre distintas localidades (…). Dada a dimensão do território nacional e as diversas condições observadas ao longo deste, o ideal é que as políticas públicas possam ser pensadas de maneira descentralizada, de modo a atender de forma mais eficiente as necessidades regionais.”
“Em segundo lugar, os resultados se mostraram piores no que tange à absorção de conhecimento dos indivíduos na área de matemática, visto que os efeitos observados são negativos e significativos para praticamente todas as coortes aqui investigadas.” (p.42) (grifos meus).
Neste ponto, os autores recorrem a uma explicação aleatória para a qual não há nenhuma evidência de dados apresentada nos estudos que fizeram:
“Claramente, dada a limitação da carga horária prevista para a realização do curso de ensino médio no Brasil, a inserção de uma determinada disciplina reflete redução no espaço dedicado ao ensino das demais. A obrigatoriedade de inclusão das disciplinas de filosofia e sociologia no ensino médio, embora possa ter efeitos positivos em algumas áreas do conhecimento, dependendo da região e das condições da família do indivíduo e/ou do município no qual resida, impacta negativamente sobre seu desempenho na área quantitativa.” (p.42) (grifos meus).
Claramente onde? Com que dado? A partir de qual estudo? Na verdade, o que os autores fazem “claramente“, é uma “petição de princípio”: a queda no desempenho de matemática é culpa da introdução de Filosofia e da Sociologia, a qual teriam tirado tempo do ensino da matemática. Sobre isso, no entanto, não há nenhuma demonstração. Se já era difícil sustentar que a média de matemática caiu em função da introdução destas disciplinas, muito mais difícil ainda é explicar tal queda por uma eventual redução de carga didática da matemática.
De fato, o efeito negativo em Matemática foi o que sobrou de todas as tentativas de superar os limites dos dados disponíveis, após longa sessão de tortura a que foram submetidos, onde, “embora [a introdução de Filosofia e Sociologia] possa ter efeitos positivos em algumas áreas do conhecimento” (p. 42) – se resolveu “chamar a atenção” para um eventual impacto na área de Matemática, o que permitiu a entrada em cena de uma “petição de princípio” contra a introdução da Filosofia e da Sociologia no ensino médio: uma suposta e não investigada invasão da carga didática da matemática pelas referidas disciplinas.
Ao invés de considerarem que os resultados do estudo foram mistos (indefinidos em alguns casos, positivos ou negativos em outros), ao invés de chamarem a atenção do leitor para os limites dos estudos, os autores esquecem os demais efeitos sobre o conjunto das áreas do ENEM e passam a falar apenas dos negativos para a área de Matemática. Aqui valem as observações de Bonadia.
Corti e outros resumem bem a situação:
“De forma geral, o problema deste tipo de abordagem é a crença de que podemos fazer um bom bolo com ingredientes ruins, desde que se tenha um forno de última geração. Como se o refinamento dos métodos pudesse superar limitações básicas nos dados disponíveis.” (p. 2)
Os autores, com um pouco de humildade, poderiam ter denominado seu estudo de “estudo exploratório”. Mas não. Almejam ser conclusivos. Existe uma frase nos meios da pesquisa quantitativa que diz: “em se torturando os dados, tudo pode ser dito sobre eles”.
Silveira e outros, comentando a divulgação da pesquisa na imprensa, também apontam limitações em sua análise do estudo:
“Curiosamente, os pesquisadores também registram a ocorrência de aspectos positivos na inclusão daquelas disciplinas [Filosofia e Sociologia], como a melhoria das notas em Português e Ciências Humanas, o que, de resto, também não foi efetivamente demonstrado. Em outras situações, afirmam [em reportagem da Folha], “a medida não afetou, nem para melhor nem para pior, a aprendizagem” de outros componentes curriculares.
Ora, se ocorrem essas oscilações nos resultados (piora em alguns casos, melhora em outros e ausência de alterações em outros tantos), caberia levantar novas hipóteses para explicar a derrubada das notas em Matemática. ”
“A hipótese dos pesquisadores é a de que a inclusão obrigatória de qualquer nova disciplina “se reflete em redução no espaço dedicado ao ensino das demais”, o que provocaria a queda no rendimento dos alunos. Presume-se, portanto, uma relação direta entre carga horária e desempenho dos estudantes, o que, no entanto, não ocorre necessariamente e, se ocorre, precisa ser rigorosamente demonstrado.” (p.2)
Os métodos econométricos aplicados à educação parecem ter alguma dificuldade para adaptar-se à complexidade do fenômeno educacional, sempre multivariado, como apontou o economista Ernesto Faria:
“Em economia e estatística, há ênfase nos métodos e na busca por aperfeiçoá-los e há uma crença de que, se atendidos certos pressupostos, eles dão conta de analisar várias questões. Isso em parte é verdade, mas tem um tipo de conhecimento que exige um aprofundamento para ver se de fato aquele pressuposto é válido. Esse estudo entrou numa complexidade muito grande que talvez os autores desconheçam.”
O problema também é constatado nos Estados Unidos. A mesma colunista da Folha de São Paulo, Erika Fraga, que se encantou com o estudo do IPEA, divulgando-o em artigo da Folha de São Paulo, antes mesmo de sua publicação pelo IPEA, já se encantou também com um autor americano que faz estudos também econométricos e que é citado no próprio estudo do IPEA: Eric Hanushek. Sobre este último já escrevemos em um post de 2017:
“Hanushek é bem conhecido nos meios educacionais norte-americanos pelo seu destacado papel em defesa do complexo industrial de testes. Por lá, já vaticinou milagres como o que agora propõe, estando a serviço da OCDE, analisando os resultados do PISA recém divulgados. Nos Estados Unidos:
“O economista da Hoover Institution, Eric Hanushek, é um dos principais braços direitos dos reformadores empresariais da educação e do complexo industrial de testes. O seu trabalho de forma consistente nos lembra a definição de “economista” como “um especialista que saberá amanhã por que as coisas que ele previu ontem não aconteceram hoje.” Como um exemplo perfeito dessa caracterização, Hanushek dá preferência para usar dados empíricos para especular o seu caminho em direção à aceitação compartilhada de noções preconcebidas de seus patronos plutocráticos através da construção de um castelo de cartas estatístico dentro de um futuro hipotético que podemos apreciar mais pelo seu valor de entretenimento, do que pela veracidade factual.”
“Muitas vezes, Eric Hanushek é visto como pertencente à “Universidade de Stanford,” quando na verdade ele está no Instituto Hoover, uma entidade diferente alojada em Stanford. Em um recente artigo que foi pego e reimpresso como se tivesse sido publicado em um jornal com revisão de pares, Hanushek afirma que “a substituição de 5-8 por cento dos professores com [baixo desempenho] por professores [com desempenho] médio, moveria os EUA para perto do topo dos rankings internacionais de matemática e ciências, [gerando] um valor atual de 100 trilhões de dólares “.”
Porém como aponta Diane Ravitch em uma discussão com Hanushek:
“Quando Rick [Hanushek] diz que “a pesquisa mostra” que a remoção dos [professores] de “5-10 por cento [de desempenho] inferiores” geraria resultados [positivos] dramáticos, ele está se referindo aos seus próprios cálculos (grifos meus LCF), não a qualquer programa real que já tenha sido tentado.”
Ou seja, Hanushek faz hipóteses que não podem ser comprovadas e as trata como verdades que devem orientar políticas públicas hoje. O mesmo pode ser dito de seu novo “milagre”: a elevação do PIB de países como o Brasil em até 7 vezes com a melhoria da educação.”
Dados alguns pressupostos, nem sempre testados, para alguns econometristas parece que o céu é o limite…
Dessa forma, o conjunto de críticas já acumulado, em nossa opinião, indica que o estudo do IPEA, a despeito de todo o esforço dos autores para converter um “estudo natural” em um “experimento controlado”, é inútil para efeito de apoiar a elaboração de políticas públicas, até que se façam estudos específicos melhor controlados.
Isso, se entendermos que vale a pena aprofundar estudos sobre as repercussões desta lei. De fato, a inserção destas disciplinas (Filosofia e Sociologia) justifica-se no ensino médio a partir do entendimento do que deva ser uma boa educação para a juventude. Se ocorrem problemas com a introdução destas, eles devem ser sanados ao nível curricular e não pela eliminação das mesmas, retrocedendo-se a conceitos de educação estreitos.
Como afirmam Silveira e outros:
“Se o propósito da Educação Básica é o preparo para o exercício da cidadania – como estabelecem a Constituição e a legislação educacional –, não é mais coerente assegurar a todos a mesma educação integral, que articule todas as áreas do saber – as Ciências Humanas, as Artes, as Linguagens, as Ciências da Natureza e a Matemática –, não apenas habilitando o jovem ao mundo do trabalho, mas também formando-o para a participação ativa, crítica e criativa na vida política, social, cultural e até afetiva? Não é esse o espírito de uma sociedade verdadeiramente democrática?
Particularmente, penso que há outras leis mais importantes a serem investigadas, por exemplo, os impactos da MP que retira recursos da educação e a própria lei do Plano Nacional de Educação. Órgãos como o IPEA deveriam estar investindo nisso.
Cabem ainda algumas considerações a propósito das atitudes de pelo menos um dos autores do estudo, em seu Blog, o Prof. Adolfo Sachsida. Reagindo à crítica, o autor escreve:
“Deixo aqui um pedido: leia o texto. Antes de criticar responda a seguinte pergunta: Você conhece um único estudo feito para o Brasil sugerindo que a lei 11.684 (que tornou obrigatório o ensino de filosofia e sociologia em todas as séries do ensino médio) melhorou o desempenho escolar dos alunos?
Pelo melhor de meu conhecimento, nosso estudo é o primeiro a analisar o efeito da lei 11.684 sobre o desempenho escolar. Será que não é importante verificar o efeito de leis sobre o desempenho dos estudantes? As pessoas criticam o texto dando a entender que existe ampla evidência empírica de que a lei 11.684 foi benéfica. Isto está incorreto! Até o momento não existe evidência alguma de que tal lei foi positiva para os estudantes.”
Como já foi dito, a justificativa da Filosofia e Sociologia no ensino médio advém do que devemos entender por ser uma boa educação para a juventude. A partir disso, compete ao poder público garantir que este conceito de educação chegue a todos, sanando os problemas que existam e não retrocedendo. Talvez aqui residam as diferenças fundamentais com os autores. Achamos que é lamentável que tenha que ter havido uma lei para que estas disciplinas tenham sido incluídas no ensino médio.
Segundo, a ausência de outros estudos não autoriza o autor a considerar seu estudo inatacável e muito menos valida, automaticamente, seus achados. Para contestar seus críticos o autor, ao invés de raciocinar sobre a crítica, apenas reitera seus achados. Mas, apenas reiterar os achados, nos os torna melhores do que eram. O autor também naturaliza as críticas:
“Existem críticas ao estudo? Claro que existem, todo trabalho científico é sujeito a críticas.”
“Em resumo, se encontramos resultados negativos é porque provavelmente a lei realmente piorou o desempenho escolar dos alunos em matemática, e tal piora foi realmente mais severa para alunos carentes.”
Ou seja, para o autor, ele está certo e ponto, cabe aos incrédulos mostrar que ele está errado. Com isso, o autor procura colocar a responsabilidade da verificação da veracidade de seus pressupostos e das suas conclusões nos próprios críticos:
“Sim, é possível a lei 11.684 ter tido efeitos benéficos que não foram capturados por nosso estudo. Que tal você testar essas hipóteses? Creio que será uma contribuição importante.”
Leia aqui o blog do autor do estudo.
A resposta que o autor dá só é possível porque ele encontrou uma forma de disponibilizar seu texto, através do expediente do “texto para discussão” no IPEA, sem precisar encaminhar a uma revista especializada. Mas é claro que não poderia ter esta atitude se seu texto dependesse da aprovação de revisores de revistas especializadas de renome. Neste caso, se não respondesse adequadamente à crítica, seu texto seria devolvido. Por isso, é fundamental que, antes de mais nada, se verifique se uma pesquisa foi apreciada por revisão de pares.
Os pesquisadores não são obrigados a deixar seus afazeres para conferir pesquisa de outros, principalmente quando há evidências a olho nu de problemas com ela. Ainda me lembro das advertências que li quando estudante de metodologia da pesquisa, feitas por A. J. Bachrach em um pequeno livro chamado “Introdução à pesquisa psicológica” (São Paulo: EPU, 1975):
“… um cientista respeita os fatos e o indivíduo que apresenta um novo ponto de vista está obrigado a demonstrar evidência suficiente a fim de alcançar o reconhecimento de sua teoria. O mundo está repleto de pessoas que têm teorias sobre cada evento imaginável e os cientistas, facilmente, poderiam dispender todo o tempo de que dispõem ouvindo e refutando a maioria deles. É preciso haver alguma defesa contra isso, pois, conforme diz Gardner: “A ciência se reduziria a nada se tivesse que examinar cada nova noção periférica que surgisse. Evidentemente, os cientistas têm tarefas mais importantes. Se alguém anuncia que a lua é feita de queijo verde não se pode esperar que o astrônomo abandone seu telescópio e escreva uma refutação pormenorizada”. (p.20-1)
Logo que iniciamos nossa carreira de pesquisador somos advertidos de que:
“Pesquisa não é estatística. (…) Isto não é, de maneira alguma, para desacreditar a estatística mas, meramente para indicar que a estatística é um instrumento de pesquisa, útil sem a menor dúvida, mas não mais do que uma técnica para tratamento de alguns (não de todos) dados da pesquisa.” (p. 1).
Ainda nos lembra o mesmo autor que “a ciência é uma mescla de dúvida e certeza”. (p. 19)
Examinando a evolução geral das médias do ENEM em matemática e no PISA, encontramos uma curiosidade. O que aconteceu com as médias gerais da área de matemática durante o período estudado pelos autores (2009-2015) e o que ocorreu depois que o estudo parou (2016-2017)?
As médias gerais da área de matemática do ENEM, para todos os estudantes (que tiveram ou não as disciplinas de Filosofia e Sociologia), e também no PISA, com estudantes de 15 anos ainda matriculados no ensino médio, caem exatamente no período em que os autores estão estudando a introdução de Filosofia e Sociologia no ensino médio, ou seja, entre 2010 a 2015.
O desempenho geral dos estudantes em matemática (ENEM) no período 2009-2013 se mantém relativamente estável, mas cai visivelmente em 2014 e 2015, e curiosamente, volta a melhorar em 2016 e sabemos que melhora ainda mais em 2017, quando atinge um patamar pouco acima de 2011, ano de média mais alta da série em questão e 9,5 pontos acima da média de 2012 (ano escolhido para o grupo de tratamento – alunos que teriam tido Filosofia e Matemática no ensino médio).
Como se vê acima, os anos de queda mais fortes, como área de matemática, são 2014 e 2015 seguidos de forte recuperação em 2016 e 2017.
Para concluir, nos gráficos do PISA (dados da OCDE) abaixo, vê-se que há queda em todas as disciplinas examinadas pelo PISA a partir de 2009. O ano de 2009, depois de um período de aceleração da curva de rendimento dos estudantes de 15 anos no PISA, alunos em grande parte matriculados no ensino médio, marca o começo da redução de desempenho em todas as áreas investigadas pelo PISA: matemática (que havia crescido em 16 pontos no ano de 2009, cresce apenas 5 pontos em 2012 e cai 14 pontos na média em 2015), e igualmente ciências e Leitura (que caem menos). Embora a média de matemática tenha resistido um pouco mais, até 2012, o fato é que ela já vem desacelerando desde 2009. Note que matemática é a área que mais cai no PISA 2015 (linha azul abaixo). Aguardemos pelo PISA 2018.
Um último aspecto a considerar diz respeito à exposição midiática dos resultados da pesquisa feitas por Erika Fraga em reportagem da Folha de São Paulo: “Filosofia e sociologia obrigatórias derrubam notas em matemática: segundo pesquisa, exigência no ensino médio prejudica desempenho de alunos”.
Ignorando quaisquer recomendações para efetuar reportagens científicas, a articulista exalta os resultados e não diz nem uma palavra sobre as fragilidades metodológicas da pesquisa – nem mesmo as apontadas pelos próprios autores no estudo. No manual da Associação de Jornalistas da Educação pode-se ler que:
“A maioria dos bons pesquisadores costuma destacar esse aspecto em uma seção do artigo, que deve ser leitura obrigatória para os jornalistas.”
Note-se o caminho que se criou com o descuido da jornalista da Folha de São Paulo: um estudo feito com limitações, tem suas limitações ignoradas pela matéria jornalística e tem seus resultados divulgados podendo orientar política pública.
Em matéria posterior, Erika Fraga tenta consertar a situação fazendo uma entrevista com um especialista que encontra fragilidades na pesquisa. Mas ela está deslocada no tempo. Além disso, as fragilidades apontadas pelos autores não são apresentadas (somente comentadas) e a entrevista é encaminhada para a questão do “excesso de disciplinas no ensino médio” – o que reitera um questionamento do número atual de disciplinas.
Postura diferente teve o jornalista Antonio Gois do “O Globo” o qual analisou o estudo e estampou em sua manchete: “Estudo que aponta que sociologia e filosofia causaram queda no desempenho em matemática é frágil” mostrando, a partir do texto original da pesquisa, as principais deficiências metodológicas do mesmo. Diz:
“A precaução se justifica, pois na avaliação educacional uma das tarefas mais complexas e desafiadoras na análise de políticas públicas é conseguir comprovar a relação de causa e efeito entre duas variáveis, ao invés de simples correlação. “
Leia o texto aqui.
Sobre eventuais influências ideológicas na pesquisa vale dizer que nenhum pesquisador é neutro. Quando colocamos nossos conceitos, escolhemos variáveis e tomamos decisões metodológicas, somos influenciados pelo que assumimos como visão de mundo. O rigor metodológico tenta conter-nos. O que se cobra dos pesquisadores, no entanto, não é neutralidade, mas sim, objetividade no processo de pesquisa, prudência e coerência quanto aos resultados obtidos, face as limitações que o estudo possua.
As limitações de um estudo, que quase sempre existem, devem estar claras na metodologia, mas não só lá. Devem acompanhar o pesquisador por todo o trajeto da pesquisa, inclusive chegando até a interpretação dos resultados e às considerações finais, onde se deve examinar os eventuais impactos de tais limitações sobre os resultados apresentados. Como afirma Carl Sagan: “Afirmações extraordinárias, exigem evidências extraordinárias.”
Para Corti e outros:
”Não há problema que os pesquisadores tenham suas posições políticas enquanto cidadãos e as manifestem publicamente. Entretanto, quando as posições políticas se sobrepõem à pesquisa e esta última passa a ser utilizada para produzir evidências das primeiras, temos um enorme conflito ético.
Não é possível ignorar que a pesquisa de Niquito e Sachsida é divulgada justamente num momento em que se discute a Reforma do Ensino Médio e a Base Nacional Comum Curricular, recém apresentada pelo MEC. Sabemos que um dos diversos pontos polêmicos da Reforma consiste justamente na retirada das disciplinas- entre elas Sociologia e Filosofia – e a configuração de um currículo por áreas de conhecimento. Ao mesmo tempo, o movimento Escola sem Partido posiciona-se contrário ao ensino da Sociologia e da Filosofia, pelo seu caráter reflexivo e crítico, que traz para a educação básica conhecimentos exigidos para o exercício da democracia contemporânea, tais como debates envolvendo o mundo político, as questões de gênero, de racismo e de identidade.
Não se trata de acusar os autores de distorcerem os princípios científicos em prol de posições políticas, mas de construir outros olhares e, sobretudo, alertar para a importância do contraditório. Que cada um faça seu julgamento e que o debate continue. O importante é garantir que, quando falamos de políticas baseadas em evidências, haja consistência e consciência dos limites técnicos das mesmas e seus contextos de produção.” (p. 5-6)
Adolfo Sachsida, um dos autores, é agora candidato a deputado nas próximas eleições e com isso, deixou mais claro seu compromisso político a que, diga-se de passagem, tem direito, inclusive reafirmando sua defesa do Movimento Escola Sem Partido.
