Série 190 Leis · Nº 062
Lei de Campbell: por que o simulado mente para você
Tem concurseiro com média alta no simulado e nota baixa na prova real. Não é azar nem nervosismo. É a Lei de Campbell agindo sobre o número que você escolheu seguir.
O percentual de acertos do candidato sobe mês a mês e a nota na prova real não acompanha.
Quando o número passa a valer moral e decisão de rota, o estudo se organiza para alimentar o número.
Usar mais de uma banca, proteger um simulado sem nota e acompanhar sinais de processo além do placar.
O indicador volta a prever desempenho em prova, e a virada de rota passa a acontecer no tempo certo.
A Lei de Campbell é a explicação mais honesta que eu conheço para uma cena que vejo em alunos há quinze anos: a planilha de acertos vem subindo há meses, o ânimo está ótimo, e aí sai o resultado da prova de verdade e o número despenca. O candidato jura que travou no dia. Quase nunca travou.
O que aconteceu foi mais chato que travar. O indicador que ele usava para se guiar parou de dizer a verdade, e ninguém avisou.
Traduzindo para quem estuda com edital na mesa: no dia em que o seu percentual de acertos passou a decidir se você avança de matéria, se você merece descanso e se o mês foi bom, ele deixou de ser retrato e virou alvo. Alvo a gente persegue. E existe muito caminho até o alvo que não passa pelo aprendizado.
Quem batizou esse desvio foi Donald Campbell, psicólogo social, em 1976, estudando avaliação de programas públicos. A formulação dele é curta: quanto mais um indicador social é usado para decisões importantes, mais sujeito a corrupção ele fica, e mais corrompe o processo que deveria medir.
Eu insisto nesse ponto porque ele costuma ser mal recebido. Ninguém gosta de ouvir que a própria estatística está inflada. Só que quem concilia trabalho e edital não tem seis meses sobrando para correr atrás de um número que não vai aparecer no dia da prova. Abaixo eu reconstruo o caso que tornou o enunciado famoso e depois mostro o que faço com os meus alunos para blindar o indicador.
A pergunta que resolve quase tudo é esta: se o seu percentual de acertos desse um salto amanhã, você apostaria a inscrição que o seu domínio subiu junto? Se a resposta hesitar, o número já está contaminado.
O mecanismo
Lei de Campbell na prática: o caso que virou prova
Antes de mexer na sua planilha, vale ver o que acontece quando um sistema inteiro entrega a decisão a um número só.
Atlanta
Salário, cargo e sobrevivência da escola foram amarrados a notas de testes padronizados.
Gabarito remarcado
Em dezenas de escolas, apagar e remarcar resposta de aluno virou reunião de rotina.
Onze condenados
Em 2015, onze educadores foram condenados criminalmente pelo esquema.
Campbell, 1976
O psicólogo social já havia descrito o mecanismo décadas antes do desfecho.
1. O que aconteceu nas escolas de Atlanta
Atlanta decidiu levar avaliação a sério. Nota de teste padronizado passou a definir bônus de salário, permanência no cargo, prestígio da direção e até o fechamento de escolas com desempenho fraco. No papel, meritocracia. Na prática, a situação exata que a Lei de Campbell descreve como zona de risco, e o laboratório mais completo que a Lei de Campbell já teve.
Investigações mostraram o que acontecia depois do sinal. Em dezenas de unidades, a correção manual da folha do aluno virou procedimento interno. Apagar e remarcar gabarito entrou no calendário como qualquer outra tarefa da semana. O distrito passou a exibir resultados tratados como milagres educacionais, com saltos estatisticamente impossíveis.
Em 2015 vieram as condenações criminais: onze educadores. E o pedaço que mais me incomoda não é esse. É o outro: as crianças, com boletim impecável, continuavam sem saber ler.
O número ficou perfeito. A coisa medida apodreceu embaixo dele.
2. O enunciado de 1976 e as duas corrupções
A Lei de Campbell não nasceu pensando em concurso. Ele pesquisava método de avaliação de programas sociais, e notou o mesmo desenho se repetindo em hospital, em polícia e em escola: o indicador vira critério, o critério vira pressão, e a pressão entorta tanto o indicador quanto o trabalho por trás dele.
Repare que a Lei de Campbell aponta duas corrupções, não uma. A primeira é a do número, que deixa de ser confiável. A segunda é a do processo, que se reorganiza para produzir o número. A segunda é pior e é a que quase ninguém enxerga em si mesmo.
No seu caso, a primeira corrupção é a média inflada do simulado. A segunda é mais cara: é você escolhendo o que estudar pela facilidade de pontuar, e não pelo peso no edital.
3. Isso não depende de má-fé, e é por isso que pega
Se Atlanta fosse só um caso de gente desonesta, a lição morreria ali. O que a Lei de Campbell mostra é que, muito antes da fraude, existe uma faixa larga de ajustes que qualquer pessoa de bem faria sem pestanejar: treinar o formato do teste em vez do conteúdo, priorizar o que historicamente cai, afrouxar o próprio critério de correção.
Nenhum desses passos é crime. Juntos, eles produzem um placar bonito em cima de um aprendizado que não existe.
O equivalente na mesa do candidato é discreto. É refazer o caderno de questões que você já viu, porque dá gosto ver a porcentagem subir. É pular o bloco de direito administrativo no simulado para não estragar a média do mês. É escolher a prova antiga e mansa em vez da prova recente que machuca. Você não está enganando ninguém. Está apagando gabarito da sua própria preparação.
4. Campbell veio antes de Goodhart
Muita gente já ouviu a versão curta: quando uma medida vira meta, deixa de ser uma boa medida. Essa é a Lei de Goodhart, do fim dos anos 1970, nascida de política monetária.
A Lei de Campbell chegou antes, em 1976, e com um alcance maior, porque falava de qualquer indicador social usado em decisão. Ranking de escola, índice de produtividade, nota de corte, estrela de avaliação de aplicativo: tudo entra.
Para quem presta concurso, eu prefiro a leitura de Campbell por um motivo específico. Goodhart descreve uma propriedade estatística. A Lei de Campbell descreve o que acontece com as pessoas que estão sendo medidas, e a pessoa medida, aqui, é você.
Rotina
Blindando o seu indicador contra a Lei de Campbell
Quatro ajustes que cabem na rotina de quem trabalha o dia inteiro e estuda no que sobra. Eu listei na ordem em que costumam dar resultado mais rápido.
Prazo de validade
Toda métrica envelhece. Revisar a cada ciclo custa dez minutos e evita meses de rota errada.
Sinais de processo
Revisão entregue no prazo e questão refeita depois do erro são mais difíceis de maquiar que o placar.
Troca de banca
Medir o mesmo assunto por bancas diferentes quebra a previsibilidade que permite a distorção.
Simulado sem nota
Um teste por semana que não entra em planilha nenhuma devolve ao erro a função de ensinar.
1. Dê prazo de validade para cada métrica
Começo por aqui porque é a defesa mais barata contra a Lei de Campbell e a mais ignorada. O percentual de acertos é excelente nos primeiros meses, quando qualquer estudo move o ponteiro. Depois de um certo patamar, ele responde mais ao sorteio de assuntos daquele caderno do que ao seu avanço, e você segue tomando decisão com um instrumento que parou de responder.
Minha regra com aluno é direta: a cada ciclo fechado, uma pergunta única sobre o indicador. Esse número ainda se mexe quando o meu domínio se mexe? Se a resposta for não, ele virou enfeite de planilha.
Aposentar a métrica no tempo certo, em vez de correr atrás dela, é o que a Lei de Campbell pede de quem presta concurso. O indicador serve à aprovação. Quando inverte, você passa a servir o indicador, e ele não vai te passar em nada.
2. Acompanhe dois sinais de processo, não só o placar
Resultado isolado é fácil de maquiar porque depende de um evento único. Comportamento repetido resiste melhor à Lei de Campbell e é muito mais difícil de falsificar, e é aí que mora a informação que interessa.
Eu peço dois números simples. Primeiro: das revisões programadas para a semana, quantas saíram no dia marcado. Segundo: das questões que você errou no mês passado, quantas foram refeitas e acertadas sem consulta.
Nenhum dos dois substitui a nota. Os dois funcionam como contrapeso. Percentual em alta com revisão atrasada é assinatura da Lei de Campbell na sua rotina: o placar está vindo de conteúdo confortável, não de domínio novo.
3. Rode o mesmo conteúdo por bancas diferentes
A Lei de Campbell precisa de previsibilidade para agir. Repetir sempre o mesmo caderno ensina o caderno, e aí o número mede memória de questão, não conhecimento de matéria.
O ajuste é mecânico. Pegue o assunto da semana e teste ele em três origens: uma questão da banca do seu edital, uma de banca com estilo oposto, e um desafio discursivo curto, escrito de cabeça sem abrir o material.
Se as três medições apontam para o mesmo lugar, confie. Se só a mais confortável aponta para cima, o nome do fenômeno você já sabe: Lei de Campbell.
4. Mantenha um simulado que não vale nada
Essa é a que mais gera resistência, e a que mais muda a preparação de quem adota. A Lei de Campbell só pega o que está sob pressão, e nem todo teste precisa valer alguma coisa. Quando o mesmo simulado serve para treinar e para julgar o seu mês, a pressão contamina o treino e o erro vira ameaça.
Separe em dois. O simulado de treino é feito sem cronômetro rígido, sem registro em planilha, com o erro anotado e discutido na hora. O de diagnóstico é feito em condição de prova, cronometrado, sem consulta, a cada duas ou três semanas.
O primeiro existe para você errar barato. O segundo existe para medir. Misturar os dois é fabricar, com as próprias mãos, o cenário que a Lei de Campbell descreve: o momento em que errar passa a custar caro é exatamente o momento em que o candidato começa a evitar o erro, e evitar o erro é evitar o aprendizado.
Erro barato na quarta-feira vale mais que acerto caro no dia da prova.
Checklist
A sua planilha passa no teste de Campbell?
Cinco perguntas para rodar antes do próximo ciclo de estudo
- O seu percentual de acertos decide alguma coisa importante, como avançar de matéria ou encerrar o mês?
- Quando foi a última vez que você mediu um assunto por uma banca diferente da do seu edital?
- Você evita incluir no simulado a matéria que mais derruba a sua média?
- Existe algum simulado seu que não entra em planilha nenhuma?
- Se a sua nota desse um salto amanhã, você saberia dizer de onde veio esse ganho?
Nota alta em simulado fácil é dívida: ela cobra juros no dia da prova, e cobra na frente de todo mundo.
Síntese
A Lei de Campbell e o seu placar
Largar a planilha não é a saída. Estudar sem medida é estudar no escuro, e quem divide o dia entre trabalho e edital precisa de bússola mais do que qualquer um. A Lei de Campbell cobra outra coisa: que nenhum número sozinho decida a sua rota.
Atlanta mostra o fundo do poço, com onze condenações em 2015 e boletins excelentes sobre crianças que não liam. A sua versão cabe em uma aba de planilha e termina igual: estatística bonita, preparação frágil, e a conta chegando no único dia em que ela não pode chegar.
Três hábitos seguram a maior parte do estrago. Medir por mais de uma fonte, manter um espaço de treino onde errar não custe nada, e aposentar o indicador quando ele parar de responder. Nenhum deles rouba tempo do seu estudo. Todos devolvem confiança ao número que você encara toda semana.
Perguntas frequentes
Dúvidas sobre o tema
Por que a minha nota de simulado é alta e a da prova real é baixa?+
Na maioria dos casos que eu acompanho, o simulado deixou de medir e passou a ser perseguido. Isso é a Lei de Campbell. Repetição de questões já vistas, escolha de provas antigas mais fáceis e exclusão das matérias que derrubam a média inflam o percentual sem mexer no domínio. A prova real usa outra amostra e devolve o número verdadeiro.
Devo parar de contar horas de estudo?+
Não precisa parar, precisa tirar dela o poder de decisão. Hora registrada é um indicador frágil porque é fácil de inflar sem aprender nada. Deixe a contagem como informação de apoio e dê o papel de decisão a sinais mais difíceis de maquiar, como questões refeitas e acertadas sem consulta.
Qual métrica resiste melhor à Lei de Campbell?+
Nenhuma resiste sozinha para sempre, e é por isso que a resposta é usar um conjunto pequeno. Combine um indicador de resultado, como o diagnóstico cronometrado, com dois de processo, como revisão no prazo e erro reaproveitado. A Lei de Campbell age sobre a medida única, e perde força quando as medidas se conferem entre si.
Quem foi Donald Campbell?+
Donald Campbell foi um psicólogo social norte-americano dedicado a métodos de avaliação de programas sociais. Em 1976 formulou o enunciado que leva o seu nome, descrevendo como indicadores usados em decisões importantes acabam corrompidos. A formulação antecede a Lei de Goodhart e cobre o mesmo mecanismo em terreno mais amplo.
Tiago Zanolla
Fundador da UFEM Educacional
Professor há mais de 15 anos, com mais de 2.000 aulas produzidas e mais de 2 milhões de alunos impactados. Engenheiro de produção por formação, autor do livro Ética no Serviço Público: uma visão moderna e referência nacional em ensino para concursos. A série 190 Leis publica, de segunda a sexta, uma lei, efeito ou paradoxo que explica como você estuda, decide e trabalha.
Imagem de capa: Unsplash.