Bots de IA ameaçam a sobrevivência dos sites favoritos na internet

O cofundador e CEO da TollBit, Toshit Panigrahi, alertou sobre a alta atividade de crawlers de inteligência artificial em um grande site de esportes.
Em um mês, foram registrados treze milhões de acessos por bots, enquanto apenas seiscentas visitas foram de usuários reais.
Organizações como Wikipedia e Reddit estão se unindo para enfrentar a sobrecarga causada por esses rastreadores, que geram custos insustentáveis para muitos sites.
A Wikimedia Foundation e a Universidade da Carolina do Norte relataram problemas em suas infraestruturas devido ao aumento do tráfego gerado por crawlers de IA.
Algumas empresas, como a Cloudflare, estão desenvolvendo tecnologias para bloquear ou limitar esses bots, enquanto há propostas para uma colaboração mais equilibrada entre sites e inteligência artificial.

Recentemente, o cofundador e CEO da TollBit, Toshit Panigrahi, alertou sobre a infestação de crawlers de inteligência artificial (IA) em um grande site de esportes. Em um mês, 13 milhões de acessos foram feitos por bots, enquanto apenas 600 visitas foram de usuários reais. Essa situação levanta preocupações sobre a sustentabilidade dos editores online.

Organizações como Wikipedia e Reddit estão se unindo contra a sobrecarga causada por esses rastreadores. Os crawlers de IA estão gerando tráfego excessivo, resultando em custos que muitos sites não conseguem suportar. A batalha entre sites e bots se intensifica, com editores exigindo soluções que garantam sua sobrevivência.

Os crawlers tradicionais, como os do Google, são vistos como benéficos, pois geram tráfego real. No entanto, os crawlers de IA, que se multiplicaram após o lançamento do ChatGPT, são considerados problemáticos. Eles consomem grandes volumes de dados rapidamente, colocando em risco a infraestrutura dos sites. A Universidade da Carolina do Norte, por exemplo, relatou um aumento de cinco vezes nas pesquisas simultâneas em seu catálogo online, causando falhas.

A Wikimedia Foundation também expressou preocupações, afirmando que o tráfego gerado pelos crawlers de IA pressiona sua infraestrutura. Eric Holscher, cofundador do Read the Docs, destacou que a falta de reconhecimento de marca e visitas online prejudica a viabilidade dos sites. Ele argumenta que, sem um modelo de monetização, os editores não conseguirão se sustentar.

Para combater essa situação, algumas empresas estão desenvolvendo tecnologias para bloquear ou limitar os crawlers de IA. A Cloudflare, por exemplo, agora oferece soluções para seus clientes, permitindo a criação de paywalls para bots. Contudo, há vozes que defendem a colaboração entre sites e IA, sugerindo que essa relação pode ser benéfica se bem estruturada.

A necessidade de uma solução que beneficie ambos os lados é urgente. Panigrahi enfatiza que, para os editores prosperarem, é essencial encontrar um equilíbrio que permita a coexistência de crawlers de IA e sites confiáveis.