O algoritmo não acorda racista, classista ou punitivista. Ele não acorda coisa alguma. É uma técnica construída por empresas e Estados para encontrar padrões em dados, classificar pessoas e orientar decisões. O problema começa antes da linha de código: está no mundo social que produziu os dados, nos interesses que escolhem o que será medido e nos poderes que decidem o que fazer com a previsão obtida. Quando uma plataforma atribui uma nota de risco a um trabalhador, quando um banco restringe crédito a um bairro ou quando a polícia concentra vigilância em determinada periferia, a desigualdade ganha a forma limpa de uma pontuação. O preconceito deixa de parecer uma decisão humana e passa a circular como resultado objetivo de uma máquina.

Essa aparência de objetividade é uma força ideológica. O gerente que nega crédito pode se esconder atrás do sistema; a empresa que elimina currículos pode dizer que apenas seguiu critérios técnicos; o agente público que intensifica abordagens pode alegar que os dados indicaram uma área prioritária. Ninguém se apresenta como responsável pela discriminação, porque a responsabilidade foi pulverizada entre programadores, fornecedores de software, bases de dados, métricas e protocolos internos. Mas a cadeia técnica não elimina a decisão política. Ela a torna mais difícil de enxergar e, por isso mesmo, mais difícil de contestar.

Dados não são a realidade: são registros de uma sociedade desigual

Um sistema de aprendizado de máquina aprende com registros do passado. Se o passado registrado é o de uma sociedade em que negros recebem menos, moradores de periferia são mais policiados, mulheres enfrentam segregação ocupacional e pobres dependem de crédito caro, o modelo encontrará correlações entre essas marcas sociais e os resultados que lhe foram entregues. Não precisa receber uma coluna chamada “preconceito” para reproduzi-lo. CEP, histórico de consumo, interrupções no emprego formal, tipo de aparelho celular, rede de contatos, localização e padrão de deslocamento podem funcionar como substitutos de raça, classe e território.

É por isso que retirar explicitamente a informação racial ou de gênero de uma planilha não resolve a discriminação automatizada. A sociedade capitalista produziu incontáveis rastros de sua hierarquia. No Brasil, o endereço pode carregar a marca da segregação urbana; a trajetória escolar, a diferença entre ensino público sucateado e ensino privado; o histórico bancário, a exclusão anterior do sistema financeiro. A máquina encontra essas associações porque elas estão materialmente inscritas na vida social. O algoritmo não descobre uma verdade natural sobre quem é “bom pagador”, “bom funcionário” ou “suspeito”: ele transforma desigualdades historicamente produzidas em probabilidades administráveis.

Marx ajuda a enxergar o mecanismo quando mostra que as relações entre pessoas aparecem, no capitalismo, como relações entre coisas. Na discriminação algorítmica, a pessoa deixa de ser trabalhador, devedor ou cidadão situado numa história concreta e aparece como um perfil de risco. Sua vida é reduzida a variáveis que uma empresa pode comparar, ordenar e monetizar. A violência da abstração não está somente em errar uma previsão individual. Está em fabricar uma identidade social calculável e tratá-la como destino. Um entregador que teve renda instável porque a plataforma reduziu tarifas pode se tornar, para outro sistema, um consumidor arriscado. A precarização criada pelo capital retorna como justificativa técnica para novas exclusões.

O crédito transforma a pobreza em evidência contra o pobre

Nos sistemas de crédito, a promessa é simples: avaliar capacidade de pagamento de modo rápido e eficiente. Na prática, a avaliação pode converter as consequências da desigualdade em razões para aprofundá-la. Quem teve emprego formal descontínuo, quem mora longe dos centros econômicos, quem atrasou contas durante uma crise ou quem nunca teve acesso regular a produtos financeiros pode ser lido como risco elevado. A resposta do mercado não é reparar a vulnerabilidade, mas encarecer o crédito, limitar o acesso ou recusá-lo. O indivíduo é punido por condições que não escolheu e que o próprio sistema econômico reproduz.

Essa lógica se encaixa perfeitamente na meritocracia. O score aparece como se fosse um retrato moral da responsabilidade individual: quem recebe uma nota baixa teria falhado em planejar a própria vida. Desaparece a inflação dos alimentos, o aluguel que consome o salário, o desemprego, o bico sem direitos, a jornada que impede qualquer organização doméstica estável. O cálculo expulsa a história e devolve uma culpa personalizada. A pobreza deixa de ser questão social para virar dado comportamental. Não se fala em exploração, fala-se em inadimplência; não se fala em salário insuficiente, fala-se em perfil de consumo.

O recrutamento automatizado disciplina quem procura trabalho

A seleção automatizada opera uma violência semelhante. Empresas usam filtros para ordenar currículos, classificar candidatos e identificar suposta compatibilidade com uma vaga. Em tese, isso reduziria a arbitrariedade do recrutador. Mas o que significa “compatibilidade” numa empresa que já selecionou historicamente certos perfis e excluiu outros? Se o modelo aprende com contratações anteriores, pode tomar a composição desigual do quadro como padrão desejável. Se premia disponibilidade irrestrita, estabilidade linear de carreira ou determinado repertório linguístico, penaliza quem conciliou trabalho e cuidado, quem viveu o desemprego ou quem teve de sobreviver na informalidade.

No call center, no varejo, na logística e nas plataformas, a gestão algorítmica não se limita a escolher quem entra. Ela mede tempo de resposta, pausas, rotas, avaliações de clientes e produtividade minuto a minuto. O trabalhador passa a trabalhar também para alimentar o sistema que o vigia. A nota do cliente, frequentemente atravessada por racismo, misoginia e desprezo de classe, pode interferir na distribuição de tarefas e oportunidades. A plataforma chama isso de reputação; o trabalhador experimenta como medo permanente de cair na pontuação, perder corridas, ser bloqueado ou ficar invisível para a demanda.

Debord escreveu sobre uma sociedade em que a relação social é mediada por imagens. As plataformas ampliam essa mediação: agora, a relação de trabalho é mediada por painéis, estrelas, mapas e notificações que se apresentam como a própria realidade. O entregador não recebe uma ordem de um chefe visível; recebe um comando aparentemente neutro do aplicativo. A subordinação se disfarça de interface. Do mesmo modo, a exclusão se disfarça de triagem automática. A técnica não aboliu o mando; tornou o mando opaco, contínuo e escalável.

Policiamento preditivo não prevê o crime: prevê onde o Estado já escolheu olhar

O caso mais brutal é o do policiamento preditivo. Sistemas que cruzam ocorrências, horários e localizações prometem antecipar áreas de risco e distribuir recursos de segurança com eficiência. Só que os registros policiais não são um mapa neutro do crime. Eles são também um mapa da ação policial. Se determinados bairros foram historicamente mais patrulhados, mais abordados e mais registrados, produzirão mais dados de ocorrência. O modelo lê esse volume como sinal de risco e recomenda ainda mais vigilância no mesmo lugar. Forma-se um circuito: policiamento gera dados, dados justificam policiamento, e a periferia se torna eternamente suspeita.

Nesse circuito, jovens negros e pobres não são reconhecidos como cidadãos submetidos a direitos desiguais, mas como corpos estatisticamente administráveis. A previsão serve para antecipar a suspeita, não para enfrentar as condições que tornam a violência cotidiana. Não há algoritmo destinado a prever o corte de verbas em educação, a ausência de moradia digna, a fome, o desemprego ou a letalidade policial como política de Estado. A técnica escolhe o que considera problema. E, numa ordem capitalista, é mais conveniente calcular o comportamento dos explorados do que calcular a responsabilidade dos exploradores.

Não basta corrigir o código de uma dominação

Há uma resposta liberal recorrente: bastaria tornar os algoritmos mais transparentes, diversificar equipes de tecnologia e corrigir vieses estatísticos. Essas medidas podem ser necessárias para limitar danos, sobretudo quando decisões automatizadas afetam emprego, renda, liberdade e acesso a serviços. Mas são insuficientes se preservarem intacta a pergunta central: quem tem poder para classificar pessoas e com qual finalidade? Um modelo tecnicamente mais preciso pode continuar sendo politicamente intolerável se sua função for selecionar os “rentáveis”, intensificar a exploração e administrar populações pobres como ameaça.

Heidegger alertava que a técnica moderna tende a enquadrar o mundo como reserva disponível. Sob o capitalismo de plataformas, esse enquadramento alcança a subjetividade: cada pessoa aparece como conjunto de dados extraíveis, previsão comercial e risco a ser gerenciado. A crítica não exige nostalgia de um passado sem máquinas, que tampouco era livre de discriminação. Exige recusar a mentira de que automatizar uma decisão torna essa decisão justa. O combate ao viés algorítmico passa por direito à explicação e contestação, por limites reais à vigilância, por controle público sobre sistemas usados pelo Estado e por organização coletiva dos trabalhadores submetidos às plataformas.

Mas passa, acima de tudo, por não aceitar que o mercado tenha o direito de traduzir a vida social em nota. A máquina aprendeu o preconceito com a gente porque foi treinada num país organizado pela desigualdade e posta a serviço de instituições que lucram com ela. Enquanto crédito, emprego e segurança forem governados pela necessidade de proteger propriedade, reduzir custos e controlar os de baixo, o algoritmo será menos uma inteligência nova do que a velha dominação falando a linguagem da técnica.