Guerra entre crawlers de IA ameaça a transparência e a diversidade da web

A internet, frequentemente subestimada, é um vasto oceano de informações acessíveis, sustentado por "crawlers", que são bots que exploram milhões de sites diariamente. Esses crawlers são fundamentais para o funcionamento de mecanismos de busca como o Google, para a definição de preços na Amazon e para a agregação de ofertas de viagem no Kayak. Além disso, eles desempenham papéis cruciais em segurança cibernética, acessibilidade e preservação de arquivos históricos, sendo essenciais também para acadêmicos e jornalistas em suas pesquisas.

Atualmente, os crawlers representam metade de todo o tráfego da internet e sua presença está crescendo, superando o tráfego humano. No entanto, a ascensão da inteligência artificial (IA) trouxe novos desafios, pois empresas como a OpenAI utilizam dados coletados por crawlers para treinar seus sistemas, como o ChatGPT. Essa situação gerou uma reação de sites que temem que esses crawlers de IA possam prejudicar seus interesses econômicos, levando a um aumento nas restrições impostas a esses bots.

A resposta dos editores de sites tem sido uma combinação de processos judiciais, legislação e inovações tecnológicas. Desde meados de 2023, mais de 25% dos dados de alta qualidade estão sob restrições de crawlers. Apesar disso, muitos crawlers ignoram essas limitações, e empresas de tecnologia estão desenvolvendo ferramentas para detectar e bloquear tráfego não humano. Essas medidas, embora ofereçam proteção imediata, também dificultam o acesso de crawlers que não representam uma ameaça, criando um ambiente onde menos bots são bem-vindos.

Esse jogo de gato e rato tende a beneficiar grandes empresas, que podem se dar ao luxo de defender seus conteúdos ou negociar contratos. Pequenos criadores, por outro lado, enfrentam a escolha de esconder seu conteúdo atrás de paywalls ou removê-lo completamente. Isso resulta em um acesso mais restrito a informações e conteúdos, prejudicando a diversidade da web. A concentração de poder nas mãos de poucos desenvolvedores de IA e editores de dados pode limitar a competição e a transparência, tornando essencial a defesa de um ecossistema digital que preserve o acesso aberto e a diversidade de usos dos dados.