Algoritmos de destruição em massa

Este microbook convida você a conhecer as ideias centrais de Algoritmos de destruição em massa, de Cathy O'Neil.

Sarah Wysocki era elogiada pelo diretor e pelos pais de seus alunos, mas uma pontuação algorítmica a colocou entre os piores professores de Washington e levou à sua demissão. O número parecia objetivo, embora ninguém pudesse explicar com clareza o que havia medido ou como contestá-lo. Partindo desse choque entre a experiência humana e a autoridade matemática, Cathy O’Neil pergunta o que acontece quando modelos secretos passam a decidir quem estuda, trabalha, toma empréstimos ou é vigiado. Em Algoritmos de destruição em massa, ela mostra como a promessa de eficiência pode esconder escolhas humanas, reforçar desigualdades e transformar erros em regras para milhões.

Modelos que escondem escolhas humanas

Um modelo é uma representação simplificada do mundo: escolhe quais dados considerar, quais ignorar e que resultado tratar como sucesso. Por isso, mesmo quando a saída aparece como número, ela incorpora as prioridades de quem o construiu, em vez de revelar uma verdade neutra. O beisebol oferece um contraste saudável: equipes usam registros detalhados e pertinentes, tornam as estatísticas visíveis e ajustam as previsões quando novos jogos mostram que erraram.

Já o sistema de valor agregado usado em Washington tentava atribuir aos professores mudanças nas notas de turmas pequenas, apesar de a aprendizagem depender também de fatores familiares, sociais e individuais difíceis de medir. Como metade da nota final de Wysocki vinha desse cálculo, a pontuação baixa prevaleceu sobre as avaliações positivas do diretor e dos pais. Investigações posteriores encontraram rasuras suspeitas em provas de outras escolas, o que tornava plausível a hipótese de resultados inflados, mas não houve evidência conclusiva capaz de reverter a demissão.

O’Neil identifica três traços das armas de destruição matemática, ou ADMs: opacidade, escala e dano. Quando faltam explicações, possibilidade de recurso e retorno que revele erros, o modelo pode fechar um ciclo em que a decisão produz os dados que parecem justificá-la. A demissão passa a ser tomada como prova de que o professor era ruim, e a matemática protege uma decisão que, na origem, continua dependendo de escolhas humanas.

Quando lucro e risco se confundem

Depois de uma carreira acadêmica em matemática, O’Neil foi trabalhar como analista quantitativa no fundo D.E. Shaw, atraída pela velocidade com que modelos convertiam padrões em operações financeiras. No começo, via os fundos multimercado como agentes talvez duros, mas moralmente neutros, que exploravam pequenas ineficiências de mercado. A crise de 2008 alterou essa visão ao revelar que os números movidos pelas fórmulas representavam hipotecas, empregos e economias reais.

Os empréstimos imobiliários eram agrupados em títulos, e modelos de risco e agências de classificação lhes atribuíam notas que deveriam tranquilizar os investidores. Mas havia hipotecas insustentáveis, como o financiamento de uma casa de US$ 720 mil a um colhedor de morangos que ganhava US$ 14 mil por ano, enquanto estruturas opacas ocultavam os riscos. Além disso, as agências eram pagas pelos próprios emissores dos títulos, e os modelos supunham que as inadimplências seriam raras e independentes umas das outras.

O’Neil ressalta que as hipotecas subprime eram instrumentos financeiros, não algoritmos; a ADM estava nos modelos que classificavam seus riscos e davam aparência técnica a premissas frágeis. Quando as falhas se combinaram com swaps e títulos sintéticos, o mercado em torno das hipotecas cresceu a uma escala capaz de espalhar perdas pela economia mundial. Como receitas e classificações altas passaram a ser tratadas como prova de que o sistema funcionava, os lucros alimentaram o ciclo, enquanto a crise expôs milhões de pessoas a execuções de hipotecas e ao desemprego.

Educação transformada em corrida e mercado de dados

Em 1988, a revista U.S. News publicou um ranking nacional de universidades montado com indicadores substitutos, entre eles notas de provas, seletividade, retenção, conclusão de curso e doações de ex-alunos. Essas medidas não captavam diretamente o que os estudantes aprendiam, nem incluíam o custo da formação, mas logo passaram a ser tratadas como definição de excelência. À medida que as escolas adaptavam suas decisões às métricas, o ranking se reforçava e produzia uma corrida para subir na lista.

A Universidade TCU, por exemplo, investiu em arrecadação, campus e futebol americano, iniciativas que atraíam inscrições e ajudavam a melhorar indicadores de seletividade. Essa estratégia podia trazer benefícios reais, mas a escala do ranking empurrava instituições diferentes para os mesmos objetivos e deixava fora da conta as mensalidades. Com incentivos para gastar e competir, o custo do ensino superior subiu mais de 500% entre 1985 e 2013, enquanto famílias pagavam a formação com dívidas estudantis.

A mesma lógica de otimização aparece nos anúncios de faculdades com fins lucrativos, que usam dados para encontrar pessoas vulneráveis e prometer mobilidade social. A Universidade de Phoenix, por exemplo, gastou mais de US$ 50 milhões em anúncios do Google, enquanto instituições como a Corinthian College foram acusadas de mentir sobre a colocação profissional dos formados e cobrar US$ 68,8 mil por uma graduação online em assistência jurídica. Em um experimento com currículos enviados a empregadores, diplomas de instituições com fins lucrativos renderam menos respostas do que diplomas de faculdades comunitárias e resultados próximos aos de candidatos com apenas ensino médio, enquanto os estudantes podiam sair endividados.

Chegamos à metade deste microbook

Até aqui, vimos que modelos não são espelhos neutros: carregam escolhas, e a opacidade pode transformar uma medida frágil em sentença. A crise financeira mostrou como o lucro pode substituir a verificação da realidade, enquanto rankings e anúncios educacionais converteram métricas e vulnerabilidades em engrenagens de desigualdade. Na segunda metade, O’Neil acompanha essa lógica pelas polícias, pelos empregos, pelo crédito e pelos seguros, antes de perguntar como auditar os sistemas e recolocar objetivos humanos no centro.

Policiamento e justiça automatizados

Nos tribunais, instrumentos como o questionário LSI-R tentam estimar a reincidência e podem tornar as sentenças mais consistentes, além de reduzir custos. Mas suas perguntas incluem, além de condenações anteriores, vínculos familiares, amizades e contato prévio com a polícia, fatores que refletem desigualdades do bairro e da abordagem policial, não apenas atos individuais. Como pessoas negras e pobres são mais policiadas, tais variáveis funcionam como indicadores indiretos de raça e renda, apesar de essas características serem formalmente excluídas.

Programas como o PredPol tentam prever onde ocorrerão crimes e direcionar patrulhas, e o comandante de Reading relatou uma queda de 23% nos assaltos após um ano de uso. Quando o sistema também recebe registros de infrações menores, porém, mais patrulhamento produz mais detenções e dados, que por sua vez justificam novas rondas nos mesmos lugares. Em Nova York, a política de parar e revistar reforçou a mesma assimetria: cerca de 85% dos abordados eram homens jovens negros ou latinos, e só 0,1% tinham ligação com crimes violentos. Enquanto isso, delitos financeiros com grandes danos sociais continuavam muito menos policiados.

Os efeitos se acumulam: pontuações de alto risco podem contribuir para penas mais longas, e o encarceramento dificulta o emprego e a estabilidade depois da soltura. A polícia de Chicago chegou a incluir Robert McDaniel, um jovem sem histórico de violência, numa lista de pessoas consideradas propensas a cometer crimes violentos, visitando-o para adverti-lo com base também em suas conexões. O’Neil não afirma que toda previsão seja inútil, mas questiona sistemas que chamam eficiência de justiça e defende relações de confiança e apoio comunitário em vez da mera contagem de detenções.

O trabalho e a vida econômica convertidos em pontuações

No mercado de trabalho, testes de personalidade podem eliminar candidatos antes que uma pessoa avalie suas qualidades. Kyle Behm, que tinha transtorno bipolar, foi barrado de uma vaga de salário mínimo após fazer testes usados por redes como a Kroger, embora esse tipo de avaliação tenha poder limitado para prever desempenho e levante questões legais. O caso ecoa o sistema de seleção do hospital St. George’s, que aprendeu com decisões antigas a rejeitar desproporcionalmente mulheres e candidatos de origem estrangeira e não branca.

Depois da contratação, outros modelos tratam trabalhadores como peças ajustáveis: programas de escala calculam quantas pessoas são necessárias a cada hora para reduzir custos. No Starbucks, turnos de fechamento seguidos por reabertura deixavam baristas com horários imprevisíveis, como Jannette Navarro, que não conseguia conciliar trabalho, cuidado do filho e faculdade. Mesmo quando empresas prometem aviso prévio, os incentivos para manter as equipes no mínimo podem prevalecer, e a eficiência é paga com tempo, sono e autonomia dos funcionários. Programas de bem-estar também podem penalizar trabalhadores com medidas discutíveis, como o índice de massa corporal.

Na esfera financeira, O’Neil distingue o escore FICO, mais transparente e regulado, dos chamados escores digitais, que podem cruzar CEP, navegação, compras e relações sociais. Empregadores que usam relatórios de crédito e seguradoras que dão grande peso a esse dado podem punir quem perdeu renda, mora em bairro pobre ou tem informações cadastrais incorretas. Como quase não há explicação ou recurso, a recusa de trabalho, os juros e os prêmios mais altos podem piorar justamente a situação que o modelo dizia apenas medir.

A democracia depende de ver e contestar o algoritmo

Os algoritmos também podem influenciar a vida cívica: no Facebook, uma campanha de 2010 que mostrava aos usuários quais amigos haviam votado levou os pesquisadores da empresa a estimar cerca de 340 mil votos adicionais. Em outros experimentos, a rede alterou a quantidade de notícias exibidas e encontrou indícios de que o conteúdo podia afetar o humor e a participação das pessoas. Como a plataforma escolhe em segredo o que aparece, muitos usuários confundem uma seleção comercial com um retrato neutro do debate público.

As campanhas políticas passaram a usar perfis de consumidores, testes de mensagens e microdirecionamento para falar de modo diferente a grupos de eleitores e doadores. Uma mensagem pode chegar apenas a quem já está inclinado a aceitá-la, sem que vizinhos ou jornalistas consigam vê-la, compará-la ou cobrar coerência do candidato. Essa personalização pode mobilizar pessoas, mas também fragmenta o espaço comum, concentra a atenção em poucos eleitores decisivos e torna mais fácil explorar medos ou desinformação.

Na conclusão, O’Neil mostra que as ADMs se alimentam: a pobreza e o policiamento intensivo geram dados que ajudam a justificar mais exclusão, dívida e vigilância. Por isso, não basta esperar que o mercado se corrija, sobretudo quando o lucro depende de custos invisíveis impostos a pessoas sem poder de contestação. A autora defende auditorias independentes, transparência sobre os dados e as premissas, direito de corrigir erros e leis que limitem o uso discriminatório de indicadores indiretos. Esses mesmos instrumentos podem servir ao bem comum, como no projeto que buscava compreender as famílias sem-teto e conectá-las a serviços e moradia, em vez de puni-las.

Notas Finais

A tese central é que os algoritmos não apenas refletem desigualdades existentes: quando são opacos, ampliados e sem responsabilização, ajudam a reproduzi-las e a apresentá-las como inevitáveis. O Big Data pode revelar padrões e orientar soluções, mas seus resultados exigem dados relevantes, retorno sobre os erros, transparência e critérios de justiça definidos por pessoas. Para O’Neil, modelos devem permanecer ferramentas sob fiscalização, nunca autoridades neutras que dispensem debate, reparação e responsabilidade democrática.

Dica do Minutobooks

Para continuar por essa trilha, vale ler Automating Inequality, de Virginia Eubanks. Assim como O’Neil, Eubanks investiga como sistemas automatizados classificam e monitoram pessoas pobres, especialmente quando governos decidem quem recebe assistência, moradia ou outros serviços. Seu foco nas tecnologias de proteção social complementa Algoritmos de destruição em massa e mostra como a automação pode converter ajuda pública em vigilância e exclusão.