Hugging Face lança ferramenta que mede consumo energético de interações com IA

Conversar com chatbots consome mais energia do que se imagina. Para mostrar isso, Julien Delavande, da Hugging Face, criou uma ferramenta chamada ChatUI Energy, que calcula em tempo real o consumo elétrico durante interações com modelos de IA, como o ChatGPT e o Llama 3.3 70B. A ferramenta, que é de código aberto, mostra o gasto em watts-hora ou joules e compara com atividades do dia a dia, como acender uma lâmpada. Por exemplo, pedir ao Llama 3.3 70B para escrever um e-mail consome cerca de 0,1841 watts-hora, o que equivale a manter um micro-ondas ligado por 0,12 segundos. Embora os números sejam estimativas, a ferramenta ajuda a entender o impacto do uso de IA. Ela também permite comparar o consumo de diferentes modelos e tarefas. Para usar, basta acessar o site, escolher um modelo e enviar um comando. Além disso, a Hugging Face lançou o AI Energy Score, que avalia a eficiência energética de modelos de IA, ajudando desenvolvedores e usuários a escolher opções mais sustentáveis. Até agora, 166 modelos já foram avaliados.

Julien Delavande, engenheiro da Hugging Face, lançou a ferramenta ChatUI Energy, que estima em tempo real o consumo elétrico de interações com modelos de inteligência artificial (IA). A iniciativa visa aumentar a transparência e a eficiência energética no uso de IA.

A ferramenta, de código aberto, calcula o gasto energético em watts-hora ou joules durante conversas com chatbots como o ChatGPT, Llama 3.3 70B e Gemma 3. O ChatUI Energy compara o consumo com atividades cotidianas, como acender uma lâmpada ou usar um micro-ondas. Por exemplo, solicitar ao Llama 3.3 70B a redação de um e-mail consome cerca de 0,1841 watts-hora, equivalente a manter um micro-ondas ligado por 0,12 segundos.

Funcionalidade da Ferramenta

A ferramenta funciona como um contador de calorias para interações com IA. Ela mede a energia consumida por cada mensagem enviada e recebida, permitindo que os usuários comparem o consumo entre diferentes modelos e tarefas. O cálculo é baseado na carga de trabalho dos servidores e no tempo de inferência dos modelos, utilizando dados de estudos sobre o consumo energético de GPUs em datacenters.

Os resultados são exibidos logo abaixo da janela de conversa, mostrando o consumo em joules e watts-hora, além de comparações com atividades diárias, como carregar um celular ou dirigir por alguns minutos. Essa abordagem ajuda os usuários a tomar decisões mais informadas sobre o uso de IA.

Iniciativas Relacionadas

O ChatUI Energy faz parte de um movimento maior por transparência no setor, que inclui o projeto AI Energy Score. Este sistema classifica a eficiência energética de modelos de IA em uma escala de 1 a 5 estrelas, semelhante aos selos de eficiência de eletrodomésticos. Até agora, 166 modelos foram avaliados em tarefas como geração de texto e resumos.

A Hugging Face, em parceria com empresas como Salesforce e Cohere, e instituições acadêmicas como a Carnegie Mellon University, busca estabelecer um padrão confiável para a sustentabilidade dos sistemas de IA. A proposta é permitir que desenvolvedores e usuários escolham opções mais eficientes, promovendo um uso mais consciente da tecnologia.