Racismo algorítmico: quando a tecnologia reforça preconceitos

Racismo algorítmico descreve como IA e softwares podem reproduzir preconceitos, mesmo sem intenção, afetando decisões e resultados.
O Smart Sampa, com cerca de quarenta mil câmeras, já esteve ligado a falsos positivos e prisões indevidas.
Falhas costumam vir dos dados, das escolhas de desenvolvimento e da forma como a tecnologia é aplicada, gerando padrões preconceituosos.
Pesquisas apontam viés racial e geográfico no sistema, com maiores prisões de pessoas negras e concentração de casos no centro e em áreas periféricas; houve casos de pelo menos vinte e três pessoas levadas por engano e oitenta e duas presas, mas liberadas posteriormente.
Reduzir o viés é possível, com dados mais diversos e avaliações de risco, em pesquisas de instituições como NIST e estudos como Gender Shades; envolve mudanças técnicas e regulatórias, não apenas ajustes de modelos.

O racismo algorítmico descreve como softwares, IA e tecnologias podem reproduzir preconceitos, mesmo sem pessoas envolvidas. Perguntas essenciais de quem, o que, quando, onde, como e por quê guiam o tema neste texto. A discussão ganha importância com o uso de reconhecimento facial.

Cidades adotam sistemas como o Smart Sampa, que já conta com cerca de 40 mil câmeras na capital paulista. O debate se intensifica diante de falhas que expõem vieses raciais e geográficos na identificação e na atuação policial. O tema não é apenas técnico, envolve impactos sociais.

O caso divulgado pelo g1 mostra um homem detido quatro vezes por engano por ter sido confundido com um foragido de Mato Grosso. Diferenças de idade e sobrenome não impediram abordagens repetidas, ressaltando o risco de erros sistêmicos.

O que é racismo algorítmico? O conceito descreve a reprodução de desigualdades raciais por meio de dados, escolhas de desenvolvimento e regras de aplicação. Mesmo sem intenções discriminatórias, o sistema pode gerar padrões preconceituosos de forma recorrente.

Fontes e dados alimentam o viés Dados históricos de discriminação e a qualidade das informações usadas para treinar modelos ajudam a moldar resultados. Problemas de representatividade elevam a probabilidade de erros atingirem minorias.

O uso de reconhecimento facial é citado como um dos casos mais conhecidos de racismo algorítmico. Além disso, ferramentas de seleção de candidatos, avaliações de risco e policiamento preditivo podem reproduzir preconceitos se não houver supervisão.

Smart Sampa e prisões indevidas são pontos centrais. Pesquisas de 2026 associam o sistema a possíveis vieses raciais e territoriais, com maior concentração de prisões no centro e em áreas periféricas. Dados apontam que 25% das pessoas presas eram negras.

O relatório também aponta falhas técnicas: ao menos 23 pessoas teriam sido presas por erro do sistema, e 82 teriam sido detidas e liberadas posteriormente. Tais números alimentam o debate sobre confiabilidade de tecnologias de vigilância.

É possível reduzir o viés em algoritmos? Estudos sugerem que o desempenho varia entre sistemas e que bases de dados mais diversas ajudam. O NIST recomenda padrões e maior diversidade de dados para balancear resultados.

A pesquisa Gender Shades mostrou, em 2018, que reconhecimento facial apresentava mais erros com mulheres e pessoas negras. Tais evidências reforçam a necessidade de testes abrangentes e de regras para avaliação de riscos.

Reduzir o viés não ocorre sozinho. Ajustes em modelos são úteis, mas devem vir acompanhados de processos de governança, avaliação de riscos e salvaguardas para evitar a perpetuação de preconceitos.