Folha de S.Paulo: Pesquisador vê tropeços ao atribuir nota ruim em matemática à sociologia

2018-08-20T12:06:36-03:00 24/04/2018|

Para economista, questões sociais nem sempre cabem em modelos estatísticos

Por Érica Fraga
​​Avaliar os resultados de políticas públicas é fundamental, mas os pesquisadores que se dedicam a isso devem estar atentos a questões sociais complexas que podem não caber em seus modelos estatísticos.

Para o economista Ernesto Martins Faria, 30, que faz esse alerta, um estudo de pesquisadores do Ipea (Instituto de Pesquisa Econômica Aplicada), que avaliou o impacto da inclusão obrigatória de filosofia e sociologia em todos os anos do ensino médio, tropeçou em limites dessa natureza que afetam suas conclusões.

A pesquisa de Adolfo Sachsida e Thais Waideman Niquito, que deverá ser publicada em breve, concluiu que a reorganização curricular provocada, a partir de 2009, por essa legislação levou a uma piora no desempenho dos alunos—principalmente os de baixa renda— em matemática.

Leia também: Especialistas analisam em detalhes estudo que sugere queda em matemática em razão da obrigatoriedade de sociologia e filosofia no ensino médio

O trabalho, cujos resultados foram noticiados pela Folha, analisou os resultados de formados antes e depois da mudança, no Enem (Exame Nacional do Ensino Médio) de 2009 e 2012.

Na opinião de Faria, um dos problemas é que mudanças no Enem em 2009 e novidades surgidas no período —como a ampliação do Fies (Fundo de Financiamento Estudantil)— podem ter causado impacto no desempenho dos alunos.

Sachsida afirma que o debate é bem-vindo, mas que as limitações apontadas por Faria foram contempladas pelas metodologias usadas: “Fizemos testes que tentaram levar essas variáveis em conta e usamos métodos adotados mundialmente para avaliar o efeito de políticas públicas”.

“Nada impede, porém, que essa questão e outras —como o ponto de que filosofia e sociologia podem trazer conhecimentos não capturados pela nota do Enem— sejam avaliadas por outros pesquisadores”, afirma Sachsida.

Faria, que faz doutorado em educação na Universidade de Coimbra e comanda o Iede (Portal Interdisciplinaridade e Evidências no Debate Educacional), deu entrevista à Folha sobre essas ponderações e prepara uma análise sobre o assunto com a pesquisadora Raquel Guimarães, da Universidade Federal do Paraná.

O que você acha dessa pesquisa? 

Acho que ela está dentro de uma questão maior que é como pesquisadores que trabalham com métodos quantitativos analisam grandes temas sociais. Em economia e estatística, há ênfase nos métodos e na busca por aperfeiçoá-los e há uma crença de que, se atendidos certos pressupostos, eles dão conta de analisar várias questões.

Isso em parte é verdade, mas tem um tipo de conhecimento que exige um aprofundamento para ver se de fato aquele pressuposto é válido.

Esse estudo entrou numa complexidade muito grande que talvez os autores desconheçam. Eles analisaram dados da base do Enem, que é muito problemática, principalmente por ser avaliação optativa, o que dificulta fazer comparações ao longo do tempo. Mas também por mudanças importantes que aconteceram em 2009, dentro do período que eles analisaram.

Os autores mencionam essas questões como ressalvas, mas defendem que as conclusões são robustas apesar delas. Você discorda? 

Eles abordam pouco no texto. Podem ter ocorrido grandes mudanças no perfil dos alunos justamente nos anos que eles analisaram. Então, há coisas que poderiam influenciar os resultados que não estão lá, como as características dos alunos que não se consegue observar num questionário.

A motivação é um exemplo. O modelo que eles utilizaram pressupõe que os alunos que eles consideram impactados pela mudança curricular (o grupo tratamento) e aqueles que não foram impactados (o grupo controle) teriam tido uma tendência de desempenho semelhante se ela não tivesse acontecido. Mas esse é o tipo de pressuposto que eles não teriam como garantir por causa da adoção no Enem de 2009 da TRI (Teoria da Resposta ao Item), método que garante a comparabilidade dos resultados. Ou seja, eles não tinham histórico para comparar tendências.

Além disso, não está claro por que eles consideram que o choque provocado por essa política foi mais importante do que outros que ocorreram no período como a introdução do Sisu (Sistema de Seleção Unificada) e do Fies.

O Sisu e o Fies podem ter atraído bons alunos para fazer o Enem ao aumentar suas chances de conseguir uma vaga. E talvez, por causa dessas mesmas oportunidades, a escola tenha passado a incentivar mais os alunos de baixo desempenho do que antes a fazer o Enem. São fatores que podem ter impactado.

Quais são os desafios de avaliar política pública?

A importância de avaliar os programas e pensar políticas públicas a partir de evidências é inegável. Mas, no Brasil, apesar de já termos muita informação, sua sistematização, principalmente se saímos dos grandes centros, é bem pobre.

Outra questão importante é falar que não se pode fazer uma política pública sem evidência de impactos. A gente precisa avaliar da melhor forma os caminhos a serem seguidos. Se essa melhor forma for uma evidência de causa, melhor dos mundos, mas nem sempre vai ser possível.

Pesquisas indicam que pequenas alterações na rotina escolar, como ordem das aulas, podem afetar a aprendizagem. A inclusão de disciplinas também poderia gerar efeitos inesperados? 

Sim, e é uma hipótese relevante a ser testada. Mas as duas modelagens que o estudo testou não conseguiram avaliar bem essa questão. Tem muitos estudos ligados ao número de horas aula e o impacto que isso tem na aprendizagem. Outra questão é qual o tempo gasto, de fato, para aprendizagem.

Quando pensamos ensino médio no Brasil, o grande número de disciplinas é um problema. Só que o tipo de estratégia que tem que usar não entra só em aspectos objetivos de dados, demanda um tipo de entendimento de como é a dinâmica de sala de aula.

O excesso de disciplinas está sendo corretamente abordado pela proposta de reforma do ensino médio? 

Acho que não abrir mão de português e matemática em todos os anos é positivo. Embora tenhamos que caminhar para a flexibilização, nosso alto percentual de alunos que chega no primeiro ano sem a base da base faz com que o ensino médio acabe cumprindo um pouco esse papel de garantir um nível mínimo de aprendizagem.

A ideia dos itinerários é interessante. Mas acho que a gente deveria já começar a pensar e desenhar sua implementação, principalmente com foco em fortalecer as diretorias regionais de ensino.

A flexibilização cria um leque de possibilidades muito grande no ensino médio, seja em inovação ou em
ofertas mais interessantes para os alunos.

Mas cria um leque de desafios muito maior também, de contratação de profissionais, de identificar problemas, de perceber logo “olha, ali quem dá sociologia não tem a mínima base para dar aula de sociologia”, como troca esse profissional e que tipo de estrutura a escola deve ter se ela quer ofertar um ensino técnico.

Mudanças no ensino médio

Reforma do ensino médio

O que é
Uma medida provisória de Temer (MDB) que promoveu uma série de mudanças na etapa. O texto foi sancionado em fev.2017, mas só entrará em vigor dois anos após a aprovação da Base Nacional Comum Curricular

O que diz
– 60% da carga horária seguirá a base e 40% será escolhida pelo aluno entre 5 áreas: linguagens, matemática, ciências da natureza, ciências humanas e ensino técnico
– Só português e matemática serão obrigatórias nos três anos
– Em 5 anos, a carga mínima passará de 4 para 5 horas diárias de aulas
– Ensino a distância pode complementar a formação

Base Nacional Comum Curricular 

O que é
Um documento que diz o conteúdo mínimo a ser ensinado nas escolas públicas e privadas do país. A parte sobre o ensino médio, adiada após a reforma de Temer, está em fase de consulta pública. O MEC quer aprová-la até o fim deste ano

O que diz
– Detalha o que deve ser ensinado em português e matemática ano a ano
– Traz diretrizes gerais do restante das disciplinas; as redes e escolas vão definir os detalhes

Acesse a entrevista no site da Folha de S.Paulo

Leia também:
Especialistas analisam em detalhes estudo que sugere queda em matemática em razão da obrigatoriedade de sociologia e filosofia no ensino médio