Os resultados do Brasil no exame do Pisa 2012, avaliação educacional realizada por vários países do mundo, foram bastante discutidos pelos pesquisadores brasileiros – o que obviamente é uma boa notícia. Por isso, vou nesse post apenas trazer algumas observações que podem agregar à discussão.

Dois fatores parecem ter influenciado no alto número de análises sobre os resultados do Brasil no exame:

1. A riqueza dos relatórios do Pisa, que dá aos pesquisadores bastante insumo para análises.
2. A não apresentação e discussão adequadas de informações relevantes para análises dos dados brasileiros, o que até parece contraditório ao primeiro ponto dada a riqueza dos documentos.

Sobre o segundo item duas informações metodológicas me chamam a atenção em especial:

• A não inclusão dos alunos das escolas rurais no cálculo da média brasileira nas tabelas destacadas no relatório (foram incluídos apenas nas tabelas apresentadas como anexos), devido a muitos frequentarem classes multisseriadas;
• A mudança do que significa “grade” para o Brasil. Com a implementação do Ensino Fundamental de 9 anos o país passou a ter 12 “grades” (as nove do Fundamental mais as três do Ensino Médio), enquanto até 2009 o país tinha 11 “grades”. Isso significa que no relatório de 2009 a sétima “grade”, por exemplo, é a 7ªsérie / 8º ano, enquanto no relatório de 2012 ela é o 7º ano. Por esse motivo em 2012 apenas alunos brasileiros que estavam no mínimo na oitava “grade” (e não na sétima) foram elegíveis para o exame.

Esses dois pontos são explicados de forma muito breve em uma nota técnica do relatório:

In 2006, the education system in Brazil was revised to include one more year at the beginning of primary school, with the compulsory school age being lowered from seven to six years old. This change has been implemented in stages and will be completed in 2016. At the time the PISA 2012 survey took place, many of the 15-year-olds in Grade 7 had started their education under the previous system. They were therefore equivalent to Grade 6 students in the previous system. Since students below Grade 7 are not eligible for participation in PISA, the Grade 7 students in the sample were not included in the database.

Brazil also has many rural “multigrade” schools where it is difficult to identify the exact grade of each student, so not possible to identify students who are at least in Grade 7. The results for Brazil have therefore been analysed both with and without these rural schools. The results reported in the main chapters of this report are those of the Brazilian sample without the rural schools, while this annex gives the results for Brazil with the rural schools included.

A não menção dessas informações no relatório nacional (Country Note) gerou muita polêmica sobre a amostra de estudantes que fez o Pisa e sobre os resultados do Brasil. Se não considerarmos o novo significado de “grade”, por exemplo, teremos a impressão de que em 2012 a amostra brasileira não foi representativa e foi preenchida pelos jovens de maior escolaridade. Aliado a isso ainda existe o problema de as pessoas enxergarem o Pisa como uma avaliação de estudantes de 15 anos, quando na verdade para o Brasil o exame avalia estudantes que completarão 16 anos no ano letivo (nascidos em 1996 no caso do exame de 2012). O professor Chico Soares discutiu esse aspecto no blog do Simon Schwartzman, que trouxe artigos de vários especialistas sobre os resultados do Pisa 2012.

Os dois pontos que coloco merecem ser melhor estudados, mas ao que parece o problema maior é de comunicação e não houve grandes mudanças amostrais no exame de 2012 em relação ao exame de 2009. Faço então duas considerações sobre os resultados:

• Houve um avanço do Brasil no exame, mas ele é abaixo do desejável, principalmente se queremos garantir um aprendizado adequado a maior parte dos nossos alunos em um período próximo. Embora possa parecer rasa, essa é a conclusão que pode ser tirada. Não houve nem um milagre brasileiro nem fomos um desastre e nos mostramos estagnados.
• Houve uma evolução destacada no percentual de alunos abaixo do nível 1, o que foi discutido por Paula Louzano e Creso Franco. Como apontado pelo professor Creso é possível que o exame de 2012 discrimine melhor alunos de baixo desempenho, fazendo com que tenhamos menos alunos com a pontuação próxima da mínima sem isso representar ganhos de aprendizagem.

Retomarei ainda alguns pontos e apresentarei alguns dados que calculei para reportagem da Época de Camila Guimarães sobre o percentual de alunos brasileiros que dominam as duas competências avaliadas pela Prova Brasil (matemática e língua portuguesa) e as três competências avaliadas pelo Pisa (Matemática, Leitura e Ciências). De qualquer forma, já dá para adiantar que os dados são claros: temos muito a avançar!