Com o tema dos critérios de correção da redação do ENEM finalmente entrando no debate público, depois de anos simplesmente sendo naturalizados pelas autoridades educacionais brasileiras e ignorados pelos interessados, é hora de esclarecer alguns pontos.

Sabemos que o Brasil é um país cheio de absurdos. Deixar que as vagas da educação superior sejam preenchidas levando em conta a opinião do candidato sobre um tema da atualidade é apenas mais um. Mas, parece que chegou a hora de abrir a janela para deixar o sol entrar e arejar as ideias.

Vejam, não é apenas o acesso a vagas universitárias que os participantes arriscam quando expõem sua opinião em uma redação, de acordo com os editais do certame, o mais recente deles publicado em 7/4/2017 no DOU, os resultados do ENEM servem a múltiplos propósitos, entre eles, arranjar emprego:

1.8 Os resultados do Enem deverão possibilitar:
1.8.1 a constituição de parâmetros para a autoavaliação do
PARTICIPANTE, com vistas à continuidade de sua formação e a sua
inserção no mercado de trabalho;
1.8.2 a criação de referência nacional para o aperfeiçoamento
dos currículos do Ensino Médio;
1.8.3 a utilização do Exame como mecanismo único, alternativo
ou complementar para acesso à educação superior, especialmente
a ofertada pelas Instituições Federais de Educação Superior;
1.8.4 o acesso a programas governamentais de financiamento
ou o apoio ao estudante da educação superior;
1.8.5 a sua utilização como instrumento de seleção para
ingresso nos diferentes setores do mundo do trabalho;
1.8.6 o desenvolvimento de estudos e indicadores sobre a
educação brasileira.
1.9 Facultar-se-á a utilização dos resultados individuais do
Enem como mecanismo de acesso à Educação Superior ou em processos
de seleção nos diferentes setores do mundo do trabalho.

É só ler as redações nota 1000 publicadas nos guias de redação do ENEM (2016, 2017, por exemplo) para perceber que não apenas a questão de afrontar ou não os direitos humanos que é valorizada, mas também as apresentação de soluções populares e superficiais para problemas da atualidade, como não poderia deixar de ser para a forma como a situação toda é estruturada. Afinal, são apenas alunos de 17/18 egressos da educação básica e não especialistas em políticas públicas, a fazer as provas.

Faculdades mais competitivas começam a usar o IB como opção ao ENEM. É só comparar as mobilizações cognitivas entre uma e outra avaliação para perceber por quê. Ao final deste post, há uma menção ao SAT. A citação tem o objetivo de mostrar aos leitores que há alternativa à jabuticaba de acesso ao ensino superior no Brasil, que é a Competência 5 da redação.

O argumento utilizado até por representantes do MEC e Inep para manter as coisas como são hoje, dizendo que os critérios de correção são os mesmos há muitos anos, é puro desrespeito intelectual frente a um questionamento absolutamente legítimo e relevante, mesmo que as autoridades educacionais brasileiras não concordem com os infinitos palpites sobre o tema que vem sendo dados sobre o assunto, inclusive este aqui. Mas que o assunto precisa ser melhor analisado, precisa.

Vamos à minha análise:

Os critérios são tão imprecisos, que são necessários 2, 3 e até uma banca de corretores para dar as notas da redação. Tudo isso às custas do contribuinte. O ENEM é uma política  pública sensacional, mas o fato de os critérios de correção da redação não serem claros, deixa a sua correção bastante frágil. Só não há uma confusão geral causada pelo assunto porque o Governo Federal não permite que as notas das redações sejam contestadas e também porque reina a mais absoluta ignorância sobre a importância de critérios transparentes de correção de atividades, conhecidos e disseminados em inglês pelo nome de rubrics.

Mas se alguém se aventurar a entender um pouco mais sobre a distribuição das notas, vai perceber que só teríamos a ganhar com critérios mais claros. A tabela a seguir apresenta o status da redação de 2015, segundo a correção. Vemos que quase 10 mil redações forma anuladas pela questão quente do momento – o desrespeito aos direitos humanos NO PAPEL. O que chama atenção mesmo é ver que 1/3 das redações foram entregues em branco – é um perfil interessante a se estudar (porque uma pessoa se inscreve, faz a prova e entrega a redação em branco, por exemplo) -, mas que não vem ao caso diretamente agora. O que temos é que 5,5 milhões de redações estavam aptas a serem corrigidas em 2015, conforme mostra a tabela a seguir.

Status da redação 2015	N	%
Sem problemas	5.548.135,00	71,6%
Anulada	2.222,00	0,0%
Cópia Texto Motivador	6.092,00	0,1%
Em Branco	2.145.286,00	27,7%
Fere Direitos Humanos	9.936,00	0,1%
Fuga ao tema	20.765,00	0,3%
Não atendimento ao tipo	6.644,00	0,1%
Texto insuficiente	3.516,00	0,0%
Parte desconectada	2.078,00	0,0%
Não atendimento ao item 2.2.5 do edital do exame.	1.435,00	0,0%
Total	7.746.109,00	100,0%

Vamos às categorias de análise para a correção:

Competência 1: Demonstrar domínio da modalidade escrita formal da língua portuguesa.
Competência 2: Compreender a proposta de redação e aplicar conceitos das várias áreas de conhecimento para desenvolver o tema, dentro dos limites estruturais do texto
dissertativo-argumentativo em prosa.
Competência 3: Selecionar, relacionar, organizar e interpretar informações, fatos, opiniões e argumentos em defesa de um ponto de vista.
Competência 4: Demonstrar conhecimento dos mecanismos linguísticos necessários para a construção da argumentação.
Competência 5: Elaborar proposta de intervenção para o problema abordado, respeitando os direitos humanos.

Como as redações são corrigidas?

Critérios de correção da Competência 1:

200 pontos – Demonstra excelente domínio da modalidade escrita formal da língua portuguesa e de escolha de registro. Desvios gramaticais ou de convenções da escrita serão aceitos somente como excepcionalidade e quando não caracterizarem reincidência.
160 pontos – Demonstra bom domínio da modalidade escrita formal da língua portuguesa e de escolha de registro, com poucos desvios gramaticais e de convenções da escrita.
120 pontos – Demonstra domínio mediano da modalidade escrita formal da língua portuguesa e de escolha de registro, com alguns desvios gramaticais e de convenções da escrita.
80 pontos – Demonstra domínio insuficiente da modalidade escrita formal da língua portuguesa, com muitos desvios gramaticais, de escolha de registro e de convenções da escrita.
40 pontos – Demonstra domínio precário da modalidade escrita formal da língua portuguesa, de forma sistemática, com diversificados e frequentes desvios gramaticais, de escolha de registro e de convenções da escrita.
0 ponto – Demonstra desconhecimento da modalidade escrita formal da língua portuguesa. (vejam porque é importante estudar quem são e o que escrevem os milhões de participantes que zeram esta competência)

As notas da COMPETÊNCIA 1 estão distribuídas das seguinte forma (em 2015):

		Distribuição percentual		Percentual acumulado
Nota Competencia 1		com zero	sem zero	com zero	sem zero
–	2.196.253	28,4%		28,4%
20	2.717	0,0%	0,05%	28,4%	0,05%
25	2	0,0%	0,00%	28,4%	0,05%
34	3	0,0%	0,00%	28,4%	0,05%
40	30.406	0,4%	0,55%	28,8%	0,60%
50	14	0,0%	0,00%	28,8%	0,60%
60	67.431	0,9%	1,22%	29,7%	1,81%
67	1.183	0,0%	0,02%	29,7%	1,83%
75	16	0,0%	0,00%	29,7%	1,83%
80	619.880	8,0%	11,17%	37,7%	13,01%
100	740.927	9,6%	13,35%	47,2%	26,36%
Entre 100-120		40,9%	57,14%
120	2.429.231	31,4%	43,78%	78,6%	70,14%
125	151	0,0%	0,00%	78,6%	70,14%
133	2.164	0,0%	0,04%	78,6%	70,18%
134	5	0,0%	0,00%	78,6%	70,18%
140	732.393	9,5%	13,20%	88,1%	83,38%
150	323	0,0%	0,01%	88,1%	83,39%
160	850.948	11,0%	15,34%	99,1%	98,73%
167	368	0,0%	0,01%	99,1%	98,73%
175	148	0,0%	0,00%	99,1%	98,74%
180	55.825	0,7%	1,01%	99,8%	99,74%
200	14.348	0,2%	0,26%	100,0%	100,00%
Total	7.744.736
Total sem os zeros	5.548.483

Afora os 28,4% de zeros, que podem ser explicados por razões para além dos critérios, há fatos interessantes na distribuição das notas. São 6 faixas de notas (0, 40, 80, 120, 160, 200), de onde saem os critérios para atribuir as demais 18 notas atribuídas aos alunos – 25, 34, 67, por exemplo?

Quantos erros de ortografia, concordância e pontuação cometeram os que tiraram cada uma das faixas?? Bastava uma escala de correção e já teríamos infinitamente mais clareza nessa categoria.

Outro ponto que notamos ao analisar a distribuição das notas e que é até esperado (mas não moralmente aceitável), dada a má qualidade da instrução no Brasil, é que a maior parte das notas estivesse abaixo dos 50% de acerto (nota 100, que não existe na escala de notas, apenas os corretores sabem o que diferencia 100 das outras notas imediatamente contíguas da escala, 80 – insuficiente – e 120 – mediano).

Tirando os zeros, apenas 16% dos participantes tiraram 160 ou mais pontos na Competência 1, que indica seu domínio das regras de Gramática, depois de concluir a educação básica, isso sim é que é respeito ao direito à educação…

Mas ainda tem mais.

O problema da falta de clareza dos critérios ficou mais óbvio para a COMPETÊNCIA 5, que é muito questionável para os objetivos do certame – ranquear alunos para acesso a vagas. Como podemos julgar a capacidade de alunos de 17/18 anos proporem soluções para problemas complexos da atualidade, se nem os técnicos do governo e os políticos conseguem resolvê-los? É uma daquelas enganações fofinhas que todo mundo engole feliz. Mas que custam caro a quem não conhece bem as nuances das regras do jogo, principalmente para aqueles que não têm acesso a um professor de cursinho que lhe ensine os macetes. Sim, porque de uma redação de 3/4 parágrafos de uma pessoa que está concluindo o ensino médio só vai sair macete mesmo. Solução para os problemas e dilemas do Brasil e da humanidade é que não sai.

Basta lermos as redações nota 1000 selecionadas nos sucessivos guias de redação e vemos que é isso mesmo: “o governo deveria resolver”, “tem que ter campanha de esclarecimento”, “tem que colocar o tema no currículo das escolas” e assim vai: lugar comum em cima de lugar comum, mas parece que isso é o que os corretores consideram respeito aos direitos humanos.

A COMPETÊNCIA 5, mesmo tendo esse vício de origem, apresenta uma distribuição de notas “normal” (do ponto de vista estatístico), quando retiramos as notas = 0, o que seria esperado, se a correção respeitasse as faixas de notas propostas. De novo, apesar de não sabermos o que diferencia 80 – insuficiente – de 120 – mediana -, 20 pontos em uma redação (ou seja, receber uma nota 100, por exemplo) podem fazer a diferença entre entrar ou não em uma instituição de ensino mais concorrida.

Vejamos os critérios de atribuição de notas para a Competência 5:

200 pontos – Elabora muito bem proposta de intervenção, detalhada, relacionada ao tema e articulada à discussão desenvolvida no texto.
160 pontos – Elabora bem proposta de intervenção, relacionada ao tema e articulada à discussão desenvolvida no texto.
120 pontos – Elabora de forma mediana proposta de intervenção, relacionada ao tema e
articulada à discussão desenvolvida no texto.
80 pontos – Elabora de forma insuficiente proposta de intervenção, relacionada ao tema ou não articulada à discussão desenvolvida no texto.
40 pontos – Apresenta proposta de intervenção vaga, precária ou relacionada apenas ao
assunto.
0 ponto – Não apresenta proposta de intervenção ou apresenta proposta não relacionada ao tema ou ao assunto.

E agora a distribuição das notas em 2015, reparemos a concentração de notas nas pontuações mais baixas e em notas que não estão na escala.

		Distribuição percentual		Percentual acumulado
Nota Competência 5		com zero	sem zero	com zero	sem zero
–	2.538.692,00	32,8%		32,8%
20,00	239.812,00	3,1%	4,61%	35,9%	4,61%
25,00	467,00	0,0%	0,01%	35,9%	4,62%
40,00	832.838,00	10,8%	16,00%	46,6%	20,61%
50,00	1.030,00	0,0%	0,02%	46,6%	20,63%
60,00	758.048,00	9,8%	14,56%	56,4%	35,19%
75,00	348,00	0,0%	0,01%	56,4%	35,20%
80,00	1.268.909,00	16,4%	24,37%	72,8%	59,57%
100,00	730.218,00	9,4%	14,03%	82,3%	73,60%
Entre 100-120		20,5%	30,49%
120,00	856.895,00	11,1%	16,46%	93,3%	90,1%
125,00	346,00	0,0%	0,01%	93,3%	90,1%
140,00	235.614,00	3,0%	4,53%	96,4%	94,6%
150,00	376,00	0,0%	0,01%	96,4%	94,6%
160,00	192.534,00	2,5%	3,70%	98,9%	98,3%
175,00	100,00	0,0%	0,00%	98,9%	98,3%
180,00	52.614,00	0,7%	1,01%	99,5%	99,3%
200,00	35.895,00	0,5%	0,69%	100,0%	100,0%
	7.744.736,00	100,0%
	5.206.044,00		100,0%

Agora um outro exercício – vamos comparar a distribuição das notas acima de 160 pontos nas duas competências, a 1, que avalia se o aluno domina as regras de Gramática e a 5, que avalia se o aluno é um bom propositor de políticas públicas.

Claramente, pela correção de 2015, temos muito mais alunos que dominam as regras de Gramática (acima de 160 = 923.185 participantes), do que alunos capazes de propor políticas ou soluções para problemas brasileiros (acima de 160 = 282.785 participantes). E para concluir essa minha argumentação de que a Competência 5 deveria ser reformulada ou simplesmente retirada (eu estou convicta de que as demais dão conta do recado – ranquear os alunos para acesso ao ensino superior), vejam o seguinte:

Na “população ENEM 2015”, ou seja daqueles participantes do ENEM 2015, cujos microdados estão disponíveis no site do Inep, apenas 3,4% declaram ter renda acima de 10 SM. No entanto, para a COMPETÊNCIA 1, o contingente de participantes que tirou nota acima de 160 pontos e que declarou renda acima de 10 SM foi de 11,6% e para a COMPETÊNCIA 5, esse mesmo contingente foi de 16,5%. Então, uma possível conclusão é que não apenas as notas mais altas são conquistadas muito mais pelos não pobres (o que já é esperado, embora imoral), mas a COMPETÊNCIA 5 discrimina ainda mais os alunos pela renda. Ou seja, quem tem mais acesso a macetes sobre como escrever generalidades para agradar aos corretores, em geral por meio dos professores de cursinho, tem mais chance de entrar nas universidades mais competitivas. Estamos atrás do mérito na seleção ao ensino superior? Sim, é justo que estejamos. Mas é EXATAMENTE pela complexidade e capacidade discricionária da redação é que os critérios que a compõem deveriam ser mais claros, para que TODOS os que queiram prestar a prova possam se preparar para ela se acordo e para que o sistema educacional absorva os critérios de produção textual argumentativa competente em seus currículos. Se a competência 5 cair, ficam ainda a Gramática, a capacidade de argumentar, de organizar informações para compor um texto e de usar as estruturas textuais típicas do gênero, que são as outras competências avaliadas.

É possível fazer isso? Vamos olhar para fora?

Uma das mudanças que o ENEM deveria fazer seria usar o mesmo critério de estrutura do exame SAT americano, equivalente ao ENEM em objetivos para acesso ao ensino superior. A ideia é a mesma: avaliar se e quanto um candidato a uma vaga em uma universidade é capaz de escrever um texto argumentativo. Só que o College Board, que organiza a prova nos EUA não é tão ambicioso com a capacidade dos candidatos quanto o nosso MEC, que acha que um aluno de 17/18 anos pode sugerir soluções para problemas complexos brasileiros em uma canetada de 30 linhas. Na redação do SAT, os participantes precisam analisar um texto de aproximadamente 5000 toques, ou duas páginas, no que se refere aos argumentos de seu autor (do texto proposto) sobre um tema da atualidade, por meio de uma redação de 3/4 parágrafos (como a do ENEM).

Assim, o alunos não têm que emitir uma opinião eles mesmos sobre um tema, quer politicamente correta ou não. O candidato a uma vaga na universidade nos EUA precisa avaliar a capacidade de um autor em defender uma opinião (dele) e explicar porque, com base no que está contido NO TEXTO que faz parte das prova,  E NÃO NAS DICAS QUE RECEBEU DE SEU PROFESSOR DE CURSINHO, ou mesmo na sorte de conhecer um tema melhor que os outros. É de se supor que haja menos penalização de alunos com nível sócio-econômico mais baixo, pois o conteúdo é dado. O participante precisa demonstrar apenas a sua capacidade de análise, organização de ideias, construção textual e Gramática, exatamente as outras competências que o ENEM já avalia…

São os seguintes os critérios de correção da redação do SAT:

Leitura: uma redação competente mostra que você entendeu a passagem, incluindo a interação de idéias centrais e detalhes relevantes. Também mostra um uso efetivo das evidências textuais.

Análise: uma redação competente mostra sua compreensão de como o autor constrói um argumento, examinando o uso que o autor faz de provas, raciocínio e outras técnicas estilísticas e persuasivas e fundamentando suas explanações sobre o texto e as escolhas do autor com evidências textuais pertinentes a partir da passagem apresentada

Escrita: uma redação competente é focada, organizada e precisa, com estilo e tom apropriado que usam estruturas variadas de orações e que respeitam as convenções do inglês formal.