Formuladores passam por processo seletivo e devem seguir normas técnicas rigorosas. Prova é feita a partir de banco com milhares de questões. É necessário ainda que a Presidência aprove o exame?

Por Tadeu da Ponte, para a coluna Pesquisa Aplicada, na Nova Escola

O Enem deste ano encerrou-se no dia 11 de novembro, e não sem polêmicas. Dias antes, o presidente eleito Jair Bolsonaro (PSL) declarou, em vídeo publicado em suas redes sociais: “Fique tranquilo, não vai ter questão desta forma ano que vem, porque nós vamos tomar conhecimento da prova antes”. Ele se referia a uma questão da prova de Linguagens e Códigos, que abordava um dialeto próprio da comunidade LGBT, e que ele classificou de “absurdo”. Será que é necessário a Presidência ter acesso prévio ao exame para vetar itens que não a agradem?

Primeiro, o texto base da questão não exigia o conhecimento dos verbetes, nem defendia qualquer causa, e a situação problema proposta remetia a conceitos da área de conhecimento da prova. O argumento de Bolsonaro é que o Enem induz a atitude dos alunos e, portanto, os postulantes de 2019 irão estudar o universo LGBT por entenderem que isso “cai na prova”. A generalização também não é adequada, pois nenhum aluno irá virar velejador apenas porque na prova de Ciências da Natureza a questão (possivelmente mais difícil desta área) estava contextualizada com um carrinho movido a vela.

Entende-se a preocupação do futuro presidente com a dependência de opiniões pessoais ou posições ideológicas para responder uma questão. Mas essa preocupação não é nova, nem inédita para a ciência por trás da produção de avaliações padronizadas. E muito menos é ignorada pelos profissionais de altíssimo nível técnico responsáveis pela produção do exame.

Elaborar o Enem é um processo muito mais complexo do que se imagina. Não se trata de juntar um grupo de professores e fazer com eles as 185 questões da prova de um determinado ano.  Para compreender o mecanismo do Enem, é essencial conhecer o conceito por trás do chamado Banco Nacional de Itens (BNI), nome dado ao conjunto formado por todas as questões que podem ser selecionadas para montar uma prova do Enem. O BNI é extremamente dinâmico: continuamente são elaboradas questões para alimentá-lo e, anualmente, são extraídas dele questões para comporem o Enem, nas suas diferentes aplicações.

Para se qualificar como elaborador de questões para o BNI, um professor no Brasil precisa passar por um processo seletivo, receber formação e orientação técnica, bem como estudar documentos que estabelecem os parâmetros de produção de uma questão, e comprometer-se a adotá-los em sua produção. Tais parâmetros estabelecem, por exemplo, que as questões precisam ser contextualizadas por um texto base, devem apresentar uma situação problema clara e bem definida, devem avaliar uma habilidade da matriz do Enem, precisam apresentar cinco alternativas bem formuladas e balanceadas, não devem versar sobre conteúdos triviais ou irrelevantes, devem evitar a formulação negativa etc. Um destes quesitos indica, inclusive, que a resolução da questão pelos respondentes não deve depender de suas opiniões ou crenças pessoais. Veja bem, a questão pode contemplar temas diversos, mas, para respondê-la o aluno não pode necessitar partilhar de determinada crença, posição política ou ideológica. Foi o que aconteceu com a polêmica questão: não era necessário que o aluno conhecesse nenhuma palavra sequer do dialeto LGBT para acertá-la.

É importante dizer que: após uma questão ser submetida ao BNI pelo elaborador, ela passa por sucessivas revisões técnicas rigorosas e um processo de pré-testagem, que considera critérios estatísticos para assegurar a validade de um item. Questões problemáticas são, portanto, rejeitadas em alguma etapa do processo.

A montagem de uma prova para o Enem a partir do BNI é um processo imbuído da mais sofisticada ciência das avaliações, que podemos entendê-lo como a solução de uma equação. Para avaliar todos os milhões de participantes do Enem em escalas que contemplem um amplo espectro de proficiências, é necessário encontrar uma combinação de questões para cada área do conhecimento dentro do BNI. Estas devem ter níveis de dificuldade bem distribuídos a fim de avaliar as habilidades da matriz de referência de modo abrangente e assegurar uma precisão de medida ao longo de toda a escala, entre outros critérios. A experiência dos técnicos do INEP se alia aos algoritmos baseados na chamada Teoria de Resposta ao Item (TRI) para encontrar estas soluções.

Explicado tudo isso, fica difícil imaginar o benefício de uma interferência do presidente da República na troca de questões conjuntamente selecionadas por todos estes modelos matemáticos. Se a preocupação com os impactos que o Enem tem no ecossistema educacional do Brasil for realmente muito grande para a nova administração, que se assegurem recursos para que os técnicos façam bem o seu trabalho, pois isso eles sabem fazer. A prova do Enem, como qualquer outra no mundo, não é perfeita, mas estabelecer veto presidencial para seu conteúdo não vai nos ajudar em nada  e nem vai nos fazer encostar nos resultados educacionais da Finlândia, do Japão ou de Singapura. É de aprendizagem que os nossos alunos precisam.

*Tadeu da Ponte é professor do Insper, fundador da empresa de avaliações Primeira Escolha e membro do comitê técnico do Iede

Acesse o texto da coluna Pesquisa Aplicada na Nova Escola

Leia também:
Leia todos os textos da coluna Pesquisa Aplicada