Na semana passada a OCDE divulgou mais um relatório parcial de análise dos dados da edição mais recente do Pisa (de 2012), em comparação com as anteriores (Low-Performing Students – Why They Fall Behind and How To Help Them Succeed). O foco deste relatório foi, como diz o nome, identificar o perfil dos alunos de baixa performance e o que mais os pode ajudar a superá-lo.

A imprensa brasileira cobriu a divulgação praticamente reproduzindo o release da OCDE distribuído pela instituição com embargo uns dias antes. Parte do desinteresse talvez possa ter sido o fato de que não eram dados novos, mas “apenas” uma nova análise de dados já divulgados anteriormente, mas que agora vêm com ênfase em um estudo estatístico para identificar o perfil dos alunos com maior risco de apresentarem baixa performance no exame e as políticas educacionais que melhor compensam esse conjunto típico de contexto que aumenta a probabilidade de baixa performance.

Na EBC a notícia foi divulgada das seguintes maneiras, uma mais positiva e outra mais ao tom do relatório original.

No G1, a ênfase foi no percentual de baixo desempenho, sem deixar de apontar a melhora no período de 2003-12.

No Estadão, uma matéria com o conteúdo um pouco mais detalhado.

No UOL, uma matéria mais rápida, como também em O Globo. E a Folha de S. Paulo praticamente repetiu o release da OCDE.

Mas o que dizia o relatório, em linhas gerais (este post NÃO É sobre este relatório!):

“A análise mostra que o baixo desempenho [no exame] aos 15 anos não é o resultado de um fator de risco único, mas da combinação e acúmulo de várias barreiras e desvantagens que afetam os alunos ao longo das suas vidas. Quem tem maior probabilidade de apresentar baixa performance em Matemática? Na média, para os países da OCDE, uma menina que vive em uma família monoparental em zona rural, de origem imigrante, que fala em casa uma língua diferente da que é usada para a instrução na escola, que  não tenha frequentado pré-escola, que tenha repetido pelo menos uma série e que esteja matriculada em curso profissionalizante, tem uma probabilidade de apresentar performance baixa da ordem de de 83%.(pg 13 – Sumário Executivo – tradução minha)

As políticas que apareceram no relatório como as mais relevantes para compensar o perfil de vulnerabilidade acadêmica levantado pelo relatório são:

• Combater as múltiplas barreiras à aprendizagem
• Criar ambientes de aprendizagem ao mesmo tempo mais rigorosos e acolhedores nas escolas
• Ofertar apoio de recuperação o mais cedo possível
• Estimular a participação de pais e de comunidades do entorno das escolas no aprendizado dos alunos
• Inspirar os alunos a aproveitar ao máximo as oportunidades de educação disponíveis
• Identificar baixo desempenho [o mais rapidamente possível] e fazer uma interveção estratégica sob medida [para o disgnóstico]
• Ofertar apoio orientado para as escolas e / ou famílias de perfil vulnerável
• Ofertar programas especiais para imigrantes, minorias linguísticas e aos estudantes de zonas rurais
• Combater os estereótipos de gênero e ofertar apoio as famílias monoparentais [na educação de seus filhos]
• Reduzir as desigualdades no acesso à educação e limitar a prática de seleção [acadêmica] de alunos
• Tanto as autoridades educacionais (que definem as políticas), quanto os professores, pais e alunos têm um papel importante a desempenhar [no sucesso acadêmico dos alunos] (pg. 15 – Sumário Executivo – tradução minha)

Mas não é este o relatório mais interessante que deveríamos ter lido no Brasil. Em novembro de 2015 foi publicado um outro relatório com o objetivo de analisar a performance e a operacionalização do PISA em países de renda média, como o Brasil. Antigamente era o que se chamava de país subdesenvolvido ou em desenvolvimento, dependendo do tom que se quisesse dar à conversa. Os países são classificados por sua renda per capita pelo Banco Mundial e a renda média tem um largo espectro, vai de um pouco mais de US$1000 a US$12000 por cabeça. Assim, há um pouco de tudo no grupo, inclusive membros da OCDE, como o Chile.

O relatório (The Experience of Middle-Income Countries Participating in PISA 2000-2015) apresenta as principais dificuldades dos países desse grupo em participar de avaliações em larga escala, como, mas não só, o PISA. Participar neste tipo de avaliação comparativa é crucial para que os países acelerem seu desenvolvimento educacional, como parte dos esforços mundiais liderados pela ONU em relação, inicialmente, aos Objetivos do Milênio, mas que vêm sendo permanentemente monitorados e aprimorados pelas duas agências multilaterais. A ponto de terem juntado esforços a alguns dos dos países participantes e criado a iniciativa PISA para o Desenvolvimento. Esse esforço conjunto tem como objetivo identificar adaptações e melhorias no sistema de avaliação e coleta de informações contextuais dos alunos e escolas e de políticas educacionais de cada país participante, para que sejam usadas como ferramentas de desenho e monitoramento de políticas públicas.

As seguintes questões foram identificadas. Cada uma delas é comentada por mim:

1. Tradução e/ou adaptação dos infinitos relatórios e dados produzidos pelas avaliações em larga escala para que efetivamente eles tenham o impacto esperado nas políticas educacionais em nível local – mais alunos permanecem na escola até completar 12 anos de escolarização e mais alunos aprendem mais para chegarem todos, no mínimo, ao nível 2 do Pisa;
2. Amostragem: como aplicar a prova em uma amostra realmente aleatória e válida, que permita fazer inferências estatísticas sólidas em países como o Brasil, gigantescos e diversos? Já fizemos um esforço importante em aumentar a amostra para que as inferências estatísticas tenham também validade ao nível dos estados, mas ainda usamos pouquíssimo os dados coletados e nada as escalas e dados de proficiência;
3. A administração dos testes em si. Conhecemos muito pouco sobre como os testes são aplicados no Brasil. O INEP, órgão do MEC responsável pela aplicação, poderia dar maior transparência a todo o processo, sem, obviamente, invalidar a amostra;
4. Como fazer a correção (codificar) as respostas abertas? (que não são de múltipla escolha)
5. O nível do debate sobre opções de política educacional nos países do grupo é muito pobre  ainda. O relatório traz um interessante estudo de caso sobre o Brasil, mostrando a evolução do aparecimento de um conjunto de termos ligados à educação em 3 grandes veículos de imprensa: Folha de S. Paulo, Veja e o Estado de S. Paulo. Ele mostra o seguinte em relação aos países desenvolvidos (também chamados de alta renda):

a) os países desenvolvidos procuram aprender uns com os outros muito mais que os subdesenvolvidos (como o Brasil). Citam o caso da Alemanha e o choque do Pisa vs. o México que escondeu os dados do TIMSS de 1995 quando eles não trouxeram boas notícias.

b) o debate na imprensa nos países desenvolvidos é muito mais aprofundado e transparente que nos países em desenvolvimento.

Realmente, é muito mais fácil achar reprodução de releases do MEC ou de agências multilaterais na imprensa que debates mais profundos sobre temas específicos de política educacional, como se pode verificar na cobertura do relatório de baixo desempenho acima. Estamos entrando em um nível um pouco melhor agora com o currículo, mas ainda temos muito o que caminhar. Editores: fica a dica!