- IAs generativas continuam apresentando falhas ao contar letras dentro de palavras, problema observado desde 2024 em testes com o ChatGPT.
- O TecMundo realizou experimentos com diferentes modelos para verificar a contagem de letras na palavra “TecMundo” e observou resultados inconsistentes.
- Na primeira rodada, o ChatGPT chegou mais próximo da resposta; o Perplexity deu duas respostas corretas em um mesmo material; o Google Gemini errou; o Claude errou e depois se autocorreção.
- Em um segundo teste, Perplexity e ChatGPT acertaram ao perguntar explicitamente “Quantos Gs tem na palavra ‘TecMundo’?”; o Claude errou novamente, e a busca do Google continuou com erro.
- A explicação está na arquitetura dos grandes modelos de linguagem: eles trabalham com tokens, não com letras ou palavras isoladas, o que dificulta contagens simples e pode impactar buscas e conteúdos gerados.
A inteligência artificial generativa está cada vez mais presente na escrita e na revisão de conteúdos, mas ainda apresenta limitações preocupantes. Um deles é a dificuldade em contar letras dentro de palavras, independentemente do idioma. O tema voltou a ganhar atenção após relatos de falhas que afetam a precisão dos serviços.
Nos testes realizados pelo TecMundo, as respostas variaram bastante entre os modelos. Perguntar quantas letras possuem a letra G em termos como TecMundo levou a resultados diferentes conforme o assistente utilizado. O desempenho não foi uniforme nem confiável.
O caso ganhou destaque inicial em 2024, quando o ChatGPT mostrou dificuldade em contar Rs na palavra strawberry. Desde então, a falha é observada em várias plataformas e concorrentes, alimentando preocupações sobre a qualidade das buscas guiadas por IA.
Mudanças nas buscas e impactos
O Google vem alterando a forma de apresentar resultados, privilegiando respostas geradas por IA. Usuários temem que tais mudanças ampliem a frequência de erros de contagem ou mesmo afetem a precisão de termos específicos nas buscas.
No TecMundo, as análises mostraram resultados mistos entre os principais modelos. ChatGPT, Claude, Perplexity e a IA do Google exibiram comportamentos distintos ao contar letras em palavras simples, com variações entre acertos e falhas.
Em um segundo teste, com a instrução mais específica sobre a contagem de Gs na palavra TecMundo, Perplexity e ChatGPT obtiveram acertos diretos. Claude repetiu erros em um prompt, mas corrigiu-se em resposta subsequente.
Entenda o que há por trás da falha
A explicação envolve a forma como os grandes modelos de linguagem funcionam. Eles operam com tokens, unidades de dados que não correspondem exatamente a letras ou palavras. O processo foca em padrões de linguagem, não na contagem literal de caracteres.
Essa arquitetura faz com que, ao solicitar a contagem de letras, o modelo registre probabilidades e contextos em vez de uma contagem absoluta. Mesmo assim, os resultados podem variar conforme o modelo e o prompt utilizado.
Os testes destacam que o conteúdo gerado pode ser confiável em muitos aspectos, mas tarefas simples como contar letras podem exigir verificações humanas. A tecnologia continua avançando, mas a precisão em operações básicas ainda é uma área de melhoria.
Entre na conversa da comunidade