A internet, frequentemente subestimada, \u00e9 um vasto oceano de informa\u00e7\u00f5es acess\u00edveis, sustentado por “crawlers”, que s\u00e3o bots que exploram milh\u00f5es de sites diariamente. Esses crawlers s\u00e3o fundamentais para o funcionamento de mecanismos de busca como o Google, para a defini\u00e7\u00e3o de pre\u00e7os na Amazon e para a agrega\u00e7\u00e3o de ofertas de viagem no Kayak. Al\u00e9m disso, eles desempenham pap\u00e9is cruciais em seguran\u00e7a cibern\u00e9tica, acessibilidade e preserva\u00e7\u00e3o de arquivos hist\u00f3ricos, sendo essenciais tamb\u00e9m para acad\u00eamicos e jornalistas em suas pesquisas.<\/p>\n
Atualmente, os crawlers representam metade de todo o tr\u00e1fego da internet<\/strong> e sua presen\u00e7a est\u00e1 crescendo, superando o tr\u00e1fego humano. No entanto, a ascens\u00e3o da intelig\u00eancia artificial (IA) trouxe novos desafios, pois empresas como a OpenAI utilizam dados coletados por crawlers para treinar seus sistemas, como o ChatGPT. Essa situa\u00e7\u00e3o gerou uma rea\u00e7\u00e3o de sites que temem que esses crawlers de IA possam prejudicar seus interesses econ\u00f4micos, levando a um aumento nas restri\u00e7\u00f5es impostas a esses bots.<\/p>\n A resposta dos editores de sites tem sido uma combina\u00e7\u00e3o de processos judiciais, legisla\u00e7\u00e3o e inova\u00e7\u00f5es tecnol\u00f3gicas<\/strong>. Desde meados de 2023, mais de 25% dos dados de alta qualidade est\u00e3o sob restri\u00e7\u00f5es de crawlers. Apesar disso, muitos crawlers ignoram essas limita\u00e7\u00f5es, e empresas de tecnologia est\u00e3o desenvolvendo ferramentas para detectar e bloquear tr\u00e1fego n\u00e3o humano. Essas medidas, embora ofere\u00e7am prote\u00e7\u00e3o imediata, tamb\u00e9m dificultam o acesso de crawlers que n\u00e3o representam uma amea\u00e7a, criando um ambiente onde menos bots s\u00e3o bem-vindos.<\/p>\n Esse jogo de gato e rato tende a beneficiar grandes empresas, que podem se dar ao luxo de defender seus conte\u00fados ou negociar contratos. Pequenos criadores, por outro lado, enfrentam a escolha de esconder seu conte\u00fado atr\u00e1s de paywalls ou remov\u00ea-lo completamente. Isso resulta em um acesso mais restrito a informa\u00e7\u00f5es e conte\u00fados, prejudicando a diversidade da web. A concentra\u00e7\u00e3o de poder nas m\u00e3os de poucos desenvolvedores de IA e editores de dados pode limitar a competi\u00e7\u00e3o e a transpar\u00eancia, tornando essencial a defesa de um ecossistema digital que preserve o acesso aberto e a diversidade de usos dos dados.<\/p>\n","protected":false},"excerpt":{"rendered":" A internet, frequentemente subestimada, \u00e9 um vasto oceano de informa\u00e7\u00f5es acess\u00edveis, sustentado por “crawlers”, que s\u00e3o bots que exploram milh\u00f5es de sites diariamente. Esses crawlers s\u00e3o fundamentais para o funcionamento de mecanismos de busca como o Google, para a defini\u00e7\u00e3o de pre\u00e7os na Amazon e para a agrega\u00e7\u00e3o de ofertas de viagem no Kayak. Al\u00e9m […]<\/p>\n","protected":false},"author":15,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"summary":"- O uso de crawlers \u00e9 essencial para empresas como Google e Amazon, coletando dados.\n- A ascens\u00e3o da intelig\u00eancia artificial gerou uma \"guerra de crawlers\" na web.\n- Websites imp\u00f5em restri\u00e7\u00f5es severas, dificultando o acesso a pequenos criadores.\n- A concentra\u00e7\u00e3o de poder nas m\u00e3os de grandes empresas pode suprimir a diversidade online.\n- A luta por acesso a dados pode moldar o futuro da transpar\u00eancia na internet.","footnotes":""},"categories":[12,16],"tags":[100],"class_list":["post-148796","post","type-post","status-publish","format-standard","hentry","category-entretenimento","category-tecnologia","tag-noticia"],"_links":{"self":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/148796","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/users\/15"}],"replies":[{"embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/comments?post=148796"}],"version-history":[{"count":0,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/posts\/148796\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/media?parent=148796"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/categories?post=148796"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.portaltela.com\/api\/wp\/v2\/tags?post=148796"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}