- EnCompass é um framework que executa programas de agentes de IA, backtracka falhas dos LLMs e pode criar clones de tempo de execução para buscar a melhor solução entre as saídas dos modelos.
- O sistema foi desenvolvido pelo MIT, CSAIL, em parceria com a Asari AI, e funciona com agentes em Python que chamam LLMs.
- Permite marcar pontos de ramificação (branchpoints) e escolher estratégias de busca, como Monte Carlo tree search ou beam search.
- Em testes, reduziu em até 80% o código necessário para adicionar busca a agentes e aumentou a precisão em 15 a 40% em diferentes repositórios, com uma estratégia de busca de dois níveis.
- O trabalho foi apresentado no NeurIPS e aponta caminhos para agentes que lidam com tarefas complexas em larga escala.
EnCompass é um framework desenvolvido por pesquisadores do MIT CSAIL em parceria com a Asari AI para executar programas de agentes de IA por meio de backtracking e múltiplas tentativas. A ideia é encontrar o conjunto de saídas geradas por modelos de linguagem (LLMs) que produza os melhores resultados, reduzindo o esforço de codificação para programar agentes.
O sistema funciona ao permitir que o agente marque pontos de ramificação no código, onde resultados podem variar. Em vez de reescrever manualmente a lógica de busca, EnCompass executa backtracking e pode clonar a runtime para testar várias trajetórias em paralelo, buscando o caminho com maior eficácia.
Essas capacidades ajudam a explorar diferentes caminhos de decisão alimentados por várias chamadas a LLMs. O objetivo é encontrar estratégias de busca que maximizem a qualidade das saídas do agente, mantendo a fluidez do fluxo de trabalho original do agente.
Paralelamente, o framework separa a estratégia de busca da lógica de alto nível do workflow do agente. Segundo o pesquisador principal Zhening Li, a abordagem facilita a experimentação com diferentes estratégias para o melhor desempenho da IA.
Em demonstrações, EnCompass mostrou ganho expressivo na economia de código. Em um agente que traduz um repositório Java para Python, houve uma economia de 348 linhas de código, cerca de 82% menos do que se implementado manualmente. O estudo também apontou ganhos de 15% a 40% na precisão, com uma estratégia de busca em dois níveis.
Os autores destacam que a ferramenta facilita experimentar estratégias de busca sem modificar o fluxo básico do código. Estratégias comuns, como busca em árvore Monte Carlo ou beam search, podem ser utilizadas nativamente ou adaptadas pelo usuário.
A pesquisa foi apresentada no NeurIPS, conferência realizada em dezembro, com apoio da Asari AI. Os pesquisadores avaliam que EnCompass pode ampliar a eficiência de agentes que gerenciam grandes bibliotecas de código e tarefas científicas, além de designs de hardware em fases futuras.
Entre os pesquisadores estão Zhening Li, Armando Solar-Lezama e Yisong Yue, da MIT e Caltech, com participação de Stephan Zheng, CEO da Asari AI. O estudo também aponta possibilidades de aplicação em gestão de bibliotecas de código extensas e em projetos de experimentos científicos.
Especialistas externos destacam que a separação entre a lógica do fluxo de trabalho e a estratégia de busca pode facilitar a adoção de técnicas orientadas por busca em engenharia de software. EnCompass aparece como um componente essencial para melhorar a confiabilidade de geração de código e tradução com IA.
Entre na conversa da comunidade