- A OpenAI lançou o GDPval, um novo critério de avaliação para medir o desempenho de modelos de inteligência artificial em tarefas profissionais relevantes.
- O GDPval se baseia no conceito de Produto Interno Bruto (PIB) e avalia 44 ocupações, como engenheiros, advogados e professores, transformando suas tarefas em desafios para a IA.
- Especialistas com média de 14 anos de experiência revisam os desafios, definindo critérios e avaliando resultados sem saber se foram realizados por humanos ou por IA.
- Os primeiros resultados mostram que modelos como GPT-4 e Claude alcançaram desempenho equivalente ou superior ao de especialistas humanos em tarefas específicas.
- A OpenAI planeja expandir o GDPval para incluir mais ocupações e tarefas complexas, visando aproximar a avaliação do ambiente corporativo real e auxiliar na requalificação profissional.
A OpenAI acaba de apresentar o GDPval, um novo critério de avaliação que vai além dos tradicionais “exercícios de prova” para medir o desempenho de modelos de inteligência artificial em tarefas reais e economicamente relevantes. Diferente de testes acadêmicos ou simulados, o GDPval busca capturar o valor prático da IA no contexto do trabalho profissional.
Como funciona o GDPval
Partindo do conceito de Produto Interno Bruto (PIB) como um indicador central da economia, o GDPval identifica tarefas essenciais nas profissões que mais contribuem para o PIB e as transforma em desafios para modelos de IA. Ao todo, 44 ocupações são avaliadas, entre elas engenheiros, advogados, gerentes de projetos, profissionais de suporte ao cliente, corretores de imóveis, especialistas em marketing e professores.
Para garantir que as tarefas reflitam demandas do mercado, cada desafio é revisado por especialistas com vasta experiência profissional (em média 14 anos). Esses avaliadores definem critérios específicos e julgam os resultados “às cegas” sem saber se o trabalho foi feito por um humano ou por uma IA. O foco está em aplicar os modelos à vida real e não apenas em exercícios teóricos.
Além disso, o GDPval incorpora diferentes dimensões do trabalho profissional: análise, escrita, planejamento, comunicação e raciocínio crítico. Isso permite comparar modelos de IA sob condições padronizadas, favorecendo empresas e pesquisadores que desejam entender qual tecnologia funciona melhor no mundo real.
Resultados e limitações
Nas primeiras rodadas, modelos de ponta como GPT-4, GPT-4 Turbo e Claude já atingiram desempenho equivalente — e em alguns casos superior — ao de especialistas humanos em tarefas bem definidas. Ainda assim, o GDPval não é isento de limitações:
- Ele avalia tarefas one-shot (realizadas em uma única execução), sem considerar revisões, aprimoramentos ou feedbacks — etapas comuns no trabalho profissional real.
- O benchmark não abrange fluxos de trabalho colaborativos ou decisões complexas com forte componente humano, criatividade profunda ou contexto social específico.
- Muitos trabalhos envolvem iterações, negociações e evoluções contínuas, aspectos que não são capturados por esse modelo de avaliação.
O que vem pela frente
A OpenAI pretende expandir o GDPval, incluindo mais ocupações, tarefas de complexidade crescente e dinâmicas interativas, para aproximá-lo ainda mais do ambiente corporativo real. A iniciativa também prevê a colaboração de profissionais experientes na criação das tarefas e no processo de avaliação, garantindo aderência contínua ao mercado.
A médio e longo prazo, o GDPval pode servir como ferramenta estratégica para governos e empresas: ao indicar quais setores têm maior potencial de automação, pode orientar políticas públicas de requalificação profissional e decisões corporativas de investimento. Com isso, espera-se que seja possível antecipar mudanças no mundo do trabalho e preparar profissionais para a nova era da inteligência artificial.
Entre na conversa da comunidade