- IAs do Google e do X confundem buscas com comandos, fazendo Gemini e Grok atuarem como chatbots em buscas e traduções, em vez de cumprir funções originais.
- No Google, Resumos de IA na busca passaram a interpretar termos imperativos como comandos, gerando respostas tipo assistente para palavras como “disregard”, “ignore”, “skip” e até em português.
- O Google reconheceu o problema e afirmou que está trabalhando em uma correção; houve remoção dos resumos de IA para o termo viralizado, mas a pesquisa em português ainda apresenta falhas.
- Um estudo citado pelo The New York Times aponta que a ferramenta erra cerca de um a cada dez resultados, com dezenas de milhões de erros por hora; isso tem alimentado queda de confiança e impulsionado o crescimento de concorrentes como o DuckDuckGo, com aumento de around 30%.
- No X, a ferramenta de tradução alimentada pelo Grok também passa a responder perguntas como se fosse um comando, às vezes retornando a resposta no idioma do usuário; episódios semelhantes já ocorreram no Google Tradutor com integração ao Gemini, devido a injeção de prompt.
O Google e o X enfrentam falhas em ferramentas integradas aos seus sistemas de IA, levando as plataformas a responder como se fossem chatbots em pesquisas e traduções. O problema se manifesta em várias situações, mesmo quando a função principal deveria apenas resumir resultados ou traduzir conteúdo.
As falhas surgem nos Resumos de IA das buscas do Google, especialmente ao lidar com termos que soam como comandos. Em inglês, palavras como disregard ou ignore são interpretadas como instruções, fazendo a IA responder de forma conversacional. O mesmo ocorre com termos em português, como lembrar ou esquecer.
O Google reconheceu o problema e afirmou estar trabalhando em correções. Observações de veículos especializados indicam que a empresa já removeu os resumos de IA para buscas com determinados termos virais, voltando ao painel tradicional de definição lexical. Contudo, a falha persiste para algumas palavras em português.
Paradas semelhantes aparecem na rede social X, onde a ferramenta de tradução alimentada pelo Grok pode tratar perguntas como comandos e gerar respostas diretas. Em alguns casos, o serviço original é cumprido, mas o comportamento indica falha na separação entre conteúdo e instrução.
Esses episódios são classificados como prompt injection, uma vulnerabilidade de IA em que o modelo não separa adequadamente o conteúdo de comandos. Embora ocorram involuntariamente, essa falha tem sido explorada por usuários mal-intencionados para burlar o processamento das IAs.
Entre na conversa da comunidade