Perícia do Inep revela fragilidades na pontuação do Enem 2016

Análise especializada revela problemas na metodologia de avaliação do Enem 2016

Uma investigação técnica realizada nas dependências do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) identificou fragilidades significativas na pontuação do Enem 2016. O trabalho, encomendado pelo Ministério Público Federal em Uberlândia, após processo judicial, examinou minuciosamente as avaliações do Exame Nacional do Ensino Médio quando este foi aplicado em duas ocasiões distintas naquele ano.

A perícia sobre fragilidades na pontuação do Enem 2016 tornou-se necessária para esclarecer se a disparidade no número de candidatos entre as duas aplicações influenciou nos resultados finais. Especificamente, buscava-se determinar se os alunos que realizaram a segunda prova foram prejudicados pela diferença quantitativa de participantes em cada edição.

Contexto das duas aplicações do exame em 2016

Durante 2016, movimentos de ocupação estudantil em instituições educacionais provocaram a necessidade de adiar o Enem para parte dos candidatos. A primeira aplicação ocorreu nos dias 5 e 6 de novembro, contando com participação de aproximadamente 5,8 milhões de estudantes. Posteriormente, a segunda aplicação aconteceu em 3 e 4 de dezembro, com menos de 170 mil participantes inscritos.

Essa discrepância considerável na quantidade de candidatos gerou preocupações legítimas quanto à equidade das avaliações. Ocupações estudantis em 23 estados brasileiros e no Distrito Federal forçaram o Ministério da Educação a implementar essa solução alternativa, afetando significativamente mais de 270 mil alunos que não puderam participar na data original.

Principais achados da perícia técnica

O perito responsável pela análise foi Tufi Machado Soares, professor do Departamento de Estatística e coordenador de pesquisa do Centro de Políticas Públicas e Avaliação da Educação na Universidade Federal de Juiz de Fora. Como especialista em Teoria da Resposta ao Item (TRI) e ex-membro do conselho científico do Enem, possuía credibilidade técnica para avaliar a metodologia adotada pelo instituto.

O laudo produzido, contendo 207 páginas, documentou fragilidades estruturais na pontuação do Enem 2016. Os pontos críticos identificados, em ordem de relevância, incluíram: quantidade insuficiente de itens comuns previamente calibrados nos pré-testes utilizados na prova regular; tamanho inadequado das amostras de calibração em determinados pré-testes; imprecisão na forma como os resultados são divulgados publicamente; e ausência de transparência sobre a qualidade dos testes e das medidas utilizadas.

Análise por disciplina

Conforme relatado no documento, as disciplinas de Ciências Humanas e Ciências da Natureza apresentaram níveis de precisão equivalentes entre as duas aplicações. Os testes foram considerados praticamente comparáveis nessas áreas, embora a segunda prova de Ciências da Natureza tenha demonstrado ser ligeiramente mais acessível.

Diferenças mais acentuadas foram encontradas em Linguagens e Códigos, onde candidatos da primeira aplicação obtiveram vantagem, e em Matemática, onde aqueles da segunda aplicação foram favorecidos. As variações menos expressivas ocorreram em Ciências da Natureza.

Limitações da análise e ressalvas do perito

O especialista ressaltou em sua análise que não era possível realizar comparação abrangente de todos os casos individuais nas dimensões completas do Enem. Tufi Soares apontou que seria necessário examinar separadamente cada situação, sendo improvável chegar a conclusões definitivas na maioria dos cenários.

A perícia também propôs sugestões para melhorias no processo de elaboração e divulgação das provas. Quando questionado pela imprensa, o perito optou por não comentar publicamente os resultados até que fosse realizada audiência pública, ainda a ser agendada pelo Ministério Público Federal.

Posicionamento do Inep sobre os achados

O Inep comunicou que não foi notificado formalmente acerca dos resultados da perícia realizada entre 5 e 9 de fevereiro de 2018. Em resposta, o instituto afirmou contar com consultoria de especialistas reconhecidos nas áreas de análise estatística e psicométrica de avaliações em larga escala.

A instituição manifestou segurança total quanto à metodologia adotada desde 2009, ressaltando seu reconhecimento nos âmbitos nacional e internacional. Conforme comunicado de sua assessoria: o laudo representa apenas uma opinião isolada e a instituição se manifestaria apropriadamente quando recebesse notificação oficial.

Próximos passos do processo investigativo

O procurador Leonardo Macedo, responsável pelo inquérito civil que investiga possíveis irregularidades na correção das provas de 2016, encaminhou o resultado da perícia tanto para o Inep quanto para estudantes que alegavam ter sido prejudicados. Ele explicou que o laudo extenso não apresenta conclusão única, tornando necessário um processo gradual de análise.

O primeiro passo consistiu em distribuir o documento aos principais interessados, estabelecendo prazo para análise. Posteriormente, será convocada audiência pública permitindo que todas as partes apresentem suas perspectivas. Apenas após essa audiência o Ministério Público Federal decidirá sobre as ações apropriadas, podendo incluir solicitações de indenização, revisão de notas ou outras medidas.

Segundo o MPF, ainda não há data prevista para realização da audiência pública. O procurador afirmou estar lidando com questão delicada e que a instituição agiria com cautela, aguardando o debate público antes de definir estratégias de atuação.

Antecedentes da investigação ministerial

A investigação iniciou-se após divulgação dos resultados em janeiro de 2017. Candidatos que realizaram a segunda aplicação começaram a relatar insatisfação com suas notas ao compará-las com as de participantes da primeira edição. Análise das reclamações mostrou diferença considerável entre os grupos.

O procurador Macedo indicou que estudantes da primeira prova receberam notas superiores. Conforme alegação do MPF, a metodologia TRI pode ter sido responsável por essa discrepância, já que considera a quantidade total de candidatos e as variações nas taxas de abstenção entre as aplicações.

Cronologia dos eventos principais

Movimentos de ocupação começaram em outubro de 2016, inicialmente no Paraná, expandindo-se nacionalmente. Estudantes protestavam contra reforma do ensino médio e emenda constitucional específica. Levantamentos indicavam que aproximadamente 1.154 ocupações afetavam escolas em pelo menos 21 estados e Distrito Federal.

Quatro dias antes da primeira aplicação, o MEC anunciou adiamento em 364 locais de prova. A primeira edição ocorreu conforme planejado com 30% de abstenção. A segunda aplicação em dezembro registrou 40% de abstenção entre os inscritos, resultando em aproximadamente 166 mil participantes efetivos.

Erros técnicos atrasaram a divulgação de resultados para 20 mil candidatos da segunda aplicação. Esses atrasos agravaram as preocupações dos estudantes sobre possível discriminação metodológica.