Estudo inédito indica alta chance de fraude em mil provas do Enem

Análise estatística inédita aponta alta probabilidade de ter havido fraude, de diferentes formas, em ao menos 1.125 provas do Enem, exame nacional que seleciona estudantes para universidades públicas no país.

Essas provas estão dentro de grupos com padrão de respostas tão semelhantes entre si que, estatisticamente, é improvável que não tenha havido algum tipo de cola nesses casos.

Segundo o modelo estatístico desenvolvido pela Folha, a chance de essas provas serem semelhantes apenas devido ao acaso em uma edição do Enem é de no mínimo 1 em 1.000.

Ou seja, seria necessário repetir o exame mil vezes para que duas provas, sem interferência, fossem tão parecidas como os gabaritos suspeitos.

Investigações conjuntas do Inep (órgão federal responsável pelo Enem) e da Polícia Federal confirmaram até hoje apenas 14 casos de fraude. A gestão Michel Temer diz que usa estatística e outros meios para combater as colas.

O estudo da Folha identificou tanto duplas de provas suspeitas, o que indica algum tipo de cola rudimentar, quanto grupos com até 67 candidatos suspeitos, apontando para um esquema mais sofisticado de transmissão de respostas.

A pesquisa considera apenas candidatos que ficaram entre as 10% melhores notas, entre as edições 2011 e 2016, o que representa um montante total de 3 milhões de provas analisadas. Com essa pontuação, o candidato consegue ingressar em cursos concorridos como medicina, direito ou administração.

O modelo adotado é mais rígido do que o aplicado em outros estudos que buscaram identificar fraudes em exames e concursos públicos.

A estatística foi usada, por exemplo, para detectar cola em universidade da Força Aérea dos EUA, ano passado, ou fraude em concurso para vaga na Receita Federal do Brasil.

O Enem cobra 180 questões dos candidatos, com cinco alternativas cada. O levantamento da Folha calculou a probabilidade de duas ou mais provas terem o mesmo padrão de acertos e de erros.

Foi considerado como altamente suspeito, por exemplo, candidatos que erraram questões marcando a mesma alternativa errada (podiam ter errado escolhendo outras três opções também incorretas).

Outro ponto considerado foi a probabilidade de esses estudantes de alto rendimento errarem questões de dificuldade média ou fácil. Se eles falham nessas perguntas, fica mais improvável que as semelhanças entre as respostas sejam ao acaso, pois espera-se que eles acertem essas questões.

Foram descartadas cinco questões de língua estrangeira, pois os estudantes podem ter padrões diferentes de respostas (eles optam entre inglês e espanhol).

As informações processadas pela Folha são oficiais, chamadas microdados do Enem. O banco mostra todas as respostas de todos os candidatos no exame, onde eles fizeram a prova, onde residiam à época da avaliação e outros dados.

Nos últimos três meses, a reportagem buscou padrões inesperados nessas respostas.

O banco de dados não mostra nome dos candidatos ou qualquer número de identificação como CPF ou RG.

Cruzando as informações do Enem com as dos ingressantes nas universidades, a reportagem conseguiu identificar um candidato cuja prova está entre as suspeitas.

Justimar Leal Teixeira, 48, teve na edição de 2015 padrão de respostas muito parecido ao de 24 provas.

Para encontrar conjunto de exames tão semelhantes ao acaso, seria necessário aplicar uma edição do Enem por ano desde a criação do universo (há 14 bilhões de anos).

Em relação a dez dessas provas suspeitas, o gabarito dele diverge em apenas 5 das 175 questões analisadas, incluindo mais de 30 respostas erradas na mesma alternativa.

Se a semelhança fosse apenas ao acaso, o modelo indica que deveria haver ao menos 39 questões divergentes.

Teixeira nasceu em Patos (PI), cidade de 6.000 habitantes. Outras duas provas suspeitas foram feitas por pessoas naturais da mesma cidade.

Questionado sobre a semelhança de seu gabarito com os demais, Teixeira afirmou que “se você pegar a redação, há diferenças” —a reportagem havia questionado sobre a parte objetiva, não sobre a redação.

Teixeira negou que tenha participado de esquema. “Em universo grande, podem existir [semelhanças]. Quantas pessoas fazem o Enem?”

O modelo estatístico adotado pela Folha já considera que o exame é feito por milhões de estudantes, o que aumenta a probabilidade de haver duas ou mais provas parecidas, mesmo que não haja fraudes.

Mas os gabaritos considerados suspeitos são tão semelhantes que é improvável que seja apenas obra do acaso.

Teixeira foi aprovado em 2016 em biomedicina na Universidade Federal de Pernambuco, no Recife, mas está com o curso trancado, após cursar dois semestres. Ele diz que o trabalho, como advogado e militar, não permite que siga na graduação.

O levantamento estatístico identificou também uma estudante com prova suspeita, dentro do mesmo grupo de Teixeira, que ingressou em medicina na Universidade Federal do Vale do São Francisco, na Bahia, no segundo semestre de 2016. A reportagem não conseguiu contato com ela.

3 milhões: Número de provas analisadas no estudo estatístico

1.125: Número de provas identificadas como suspeitas, por serem muito semelhantes

1 em 35 mil: É a probabilidade média de se encontrar provas tão semelhantes de forma aleatória (ou seja, é preciso aplicar o Enem 35 mil vezes para o resultado se repetir sem interferência)

254: Número de cidades em que foi encontrada ao menos uma prova suspeita entre 2011 e 2016

26: Número de estados em que houve ao menos uma prova suspeita (apenas Roraima não apareceu)

21: Esquemas encontrados com mais de três provas (o que sugere um sistema mais organizado do que um aluno colando de outro)

O grupo com maior número de candidatos suspeitos foi identificado na edição de 2016 do exame, com 67 provas, espalhadas por dez estados (Nordeste, Sudeste e Sul).

Picos (PI), com 77 mil habitantes, foi a cidade que mais concentrou casos desse grupo, com 11 provas. Oito desses candidatos viajaram para o município para fazer o exame, sendo quatro de Teresina (trajeto que leva mais de quatro horas de carro).

O Enem é aplicado em mais de mil municípios do país, incluindo Teresina e outras cidades do entorno.

Duas provas de pessoas que viajaram de Teresina para Picos tiveram 115 questões certas iguais, 48 erradas na mesma alternativa e apenas 12 divergentes. Simulação com provas aleatórias, com desempenho parecido a esse grupo, indica que deveria haver ao menos 62 divergentes.

Os dois exames suspeitos foram feitos por homens com 34 e 29 anos à época. Não foi possível identificar seus nomes.

Delegado regional da Polícia Civil em Picos, Jonatas Brasil disse que não recebeu notícia envolvendo fraude no Enem.

Ao longo dos anos, a Polícia Federal e o Ministério Público Federal têm deflagrado operações que identificam quadrilhas que agem para passar respostas certas a candidatos que contratam o serviço, tanto no Enem quanto em concursos públicos.

As investigações apontam que os contratantes em geral têm interesse em ingressar em medicina nas universidades públicas. Eles chegam a pagar R$ 180 mil para receber respostas certas.

Os esquemas descobertos contavam com “pilotos”, em geral universitários ou professores, que resolviam rapidamente a prova, buscando acertar o máximo possível de questões (é quase impossível acertar as 180 perguntas).

Eles, então, transmitiam as respostas para os demais candidatos, por meio de rádio ou mensagens de celular. Os clientes usavam ponto ou celular, apesar de proibidos.

A transmissão era complexa. No Enem há quatro tipos de provas, identificados por cores. A ordem das questões muda em cada cor de prova.

Se um piloto resolveu a prova amarela, ele não podia simplesmente passar o gabarito para cliente com a prova azul.

Uma das possibilidades usadas pelos fraudadores foi falar no rádio a primeira palavra de cada uma das 180 questões e a palavra que indica a alternativa certa. Cabia então ao contratante encontrar essas opções em sua versão de prova.

A complexidade dificulta que provas dentro dos esquemas sejam exatamente iguais.

A Polícia Federal encontrou uma quadrilha como essa na edição 2016 do exame. As respostas eram passadas por pilotos que estavam em Montes Claros (MG) para candidatos em Minas, Bahia e Ceará.

Outros dois esquemas foram divulgados pela polícia no fim do ano passado, quando foram expedidos 42 mandados de condução coercitiva e 5 mandados de prisão (um grupo investigado por equipe da PF de Juazeiro do Norte, no Ceará, e outro pela equipe policial de Pernambuco).

O estudo da Folha mostra que há grande chance de grupos identificados terem agido também em outros anos.

A PF identificou suspeitos nas cidades cearenses de Juazeiro do Norte, Brejo Santo e Barbalha em 2016. O modelo estatístico apontou provas suspeitas nas mesmas cidades em 2016, 2015 e 2013.

A estatística tem sido usada no Brasil e no exterior como ferramenta para detectar fraudes em exames.

Em 2017, a Justiça confirmou em segunda instância suspensão de candidatos a concurso público para analista de finanças da Receita Federal.

Laudo apontou como estatisticamente improvável que fosse apenas coincidência a semelhança na prova de 28 candidatos. Em 170 questões, alguns tiveram os mesmos 122 acertos e erraram 40 marcando a mesma alternativa.

Os candidatos, que recorrem desde 2005, afirmam que modelo estatístico não é suficiente para determinar que houve fraude. Até o momento, o argumento não foi aceito.

Nos Estados Unidos, um dos casos mais emblemáticos envolvendo uso de modelos estatísticos em exames ocorreu em 2009, na Georgia (EUA).

Investigação do jornal Atlanta Journal-Constitution apontou que era estatisticamente improvável variação de notas de algumas escolas no teste aplicado a alunos do estado, pois subiam e caiam drasticamente em um ano.

Relatório posterior do governo apontou que 38 diretores e 140 professores haviam alterado respostas dos estudantes, para melhorar notas.

No ano passado, foi analisada suspeita de fraude em provas da universidade da Força Aérea dos Estados Unidos.

Análise estatística mostrou que duas pessoas tiveram as mesmas respostas em 289 de 300 questões, distribuídas em seis exames. O caso foi analisado por comitê que acompanha recursos de processos contra servidores federais.

“Era mais provável o ganhador da loteria dos EUA vencer os próximos quatro sorteios do que esses resultados acontecerem sem interferência”, disse Dennis Maynes, cientista-chefe da empresa Caveon, que presta serviços para instituições como o departamento de Educação da Flórida, IBM e Microsoft.

Maynes fez estudo que embasou o julgamento e criou modelo que inspirou a metodologia da Folha. “As evidências estatísticas foram suficientes para convencer os juízes de que houve trapaça”, disse o cientista da empresa americana que busca detectar fraudes.

Ele afirma que, em outros casos, a estatística pode ser vista como passo inicial para uma investigação mais ampla.

A reportagem consultou o cientista para uma verificação do método estatístico adotado para analisar o Enem.

Maynes sugeriu que alguns critérios poderiam ser menos rígidos, como o limite para considerar prova suspeitas.

A reportagem adotou o patamar de ao menos 1 chance em 1.000 para considerar os candidatos como suspeitos.

Maynes disse que poderia ser a partir de 1 chance em 100 (patamar usado em algumas pesquisas acadêmicas).

Neste formato, o número de exames suspeitos no Enem subiria de 1.125 para 1.513. A Folha, porém, preferiu enfatizar o modelo mais conservador.

jan.2018
No Enem de 2017, um estudante de 27 anos entrou na sala de prova com o celular escondido na cintura e copiou o trecho de um livro na redação
Onde: Bahia

nov.2017
Em provas de anos anteriores, quadrilha passava, de fora, os gabaritos aos candidatos. Em operação chamada de Passe Fácil, foram cumpridos 31 mandados de busca e apreensão e 31 de condução coercitiva
Onde: 13 estados (PE, BA, CE, ES, GO, MA, MG, MT, PA, PI, PR, RS e SP)

nov.2017
Quadrilha fraudava, além do Enem, outros concursos; foram cumpridos 28 mandados de busca e apreensão e 11 de condução coercitiva, com cinco presos
Onde: Ceará, Paraíba e Piauí

set.2017
Treze pessoas foram indiciadas por diferentes tipos de fraudes nas provas de 2015 e 2016; houve casos de candidatos que sabiam o tema da redação previamente, levaram cola escrita ou ainda que fingiram ser sabatistas (religiosos que precisam guardar o sábado)
Onde: Maranhão, Pará, Amapá, Ceará e Piauí

nov.2016
Quadrilha cobrava até R$ 180 mil para passar respostas por meio de ponto eletrônico ligado a um cartão com chip, preso ao corpo, que funcionava como um celular; o candidato confirmava se entendia com uma tosse
Onde: Montes Claros (MG)

nov.2014
Grupo também usava esquema do cartão para passar gabarito, a partir de um hotel, por meio de códigos combinados previamente. Havia manual que ensinava como o candidato deveria agir. Uma agenda indicava mais de 160 estudantes que teriam sido aprovados
Onde: Pontes e Lacerda (MT)

INEP DIZ QUE TRABALHA PARA COIBIR FRAUDES E GARANTIR ISONOMIA

Braço do Ministério da Educação responsável pelo Enem, o Inep afirmou que trabalha com a Polícia Federal para coibir fraudes, garantindo a “isonomia entre os participantes”.

O instituto disse que também faz análises estatísticas visando combater fraudes. Quando há suspeitas, os casos são encaminhados à PF, para que prossigam as investigações, pois “o edital do Enem não prevê a eliminação do participante [apenas] por resultados coincidentes”.

A nota oficial não informou quantos casos foram apontados pelo instituto à polícia.

O Inep afirmou apenas que os casos de fraudes já completamente confirmados pela Polícia Federal “são pontuais”: 14 no total, sendo um candidato em 2013 identificado em Minas Gerais, e 13 identificados pela equipe no Maranhão (3 casos em 2015 e 10 em 2016).

“Esses casos não comprometeram a lisura do exame, a partir da afirmação dos próprios delegados responsáveis pela condução dos inquéritos de que a exclusão dos participantes seria providência suficiente, o que já foi adotado pelo Inep”, disse o instituto.

O órgão afirma que tem aprimorado os sistemas de segurança na prova, como a adoção em 2016 de detectores de metais nos locais de prova e identificação biométrica. E, no ano passado, com detectores de ponto eletrônico.

“Há outros inquéritos policiais em curso. Caso haja indicação de fraude devidamente formalizada pela autoridade policial, os participantes envolvidos serão eliminados do Enem, sem prejuízo de outras providências”, completou o órgão.

Folha de São Paulo