EnCompass é um framework desenvolvido por pesquisadores do MIT CSAIL em parceria com a Asari AI para executar programas de agentes de IA por meio de backtracking e múltiplas tentativas. A ideia é encontrar o conjunto de saídas geradas por modelos de linguagem (LLMs) que produza os melhores resultados, reduzindo o esforço de codificação para programar agentes.
O sistema funciona ao permitir que o agente marque pontos de ramificação no código, onde resultados podem variar. Em vez de reescrever manualmente a lógica de busca, EnCompass executa backtracking e pode clonar a runtime para testar várias trajetórias em paralelo, buscando o caminho com maior eficácia.
Essas capacidades ajudam a explorar diferentes caminhos de decisão alimentados por várias chamadas a LLMs. O objetivo é encontrar estratégias de busca que maximizem a qualidade das saídas do agente, mantendo a fluidez do fluxo de trabalho original do agente.
Paralelamente, o framework separa a estratégia de busca da lógica de alto nível do workflow do agente. Segundo o pesquisador principal Zhening Li, a abordagem facilita a experimentação com diferentes estratégias para o melhor desempenho da IA.
Em demonstrações, EnCompass mostrou ganho expressivo na economia de código. Em um agente que traduz um repositório Java para Python, houve uma economia de 348 linhas de código, cerca de 82% menos do que se implementado manualmente. O estudo também apontou ganhos de 15% a 40% na precisão, com uma estratégia de busca em dois níveis.
Os autores destacam que a ferramenta facilita experimentar estratégias de busca sem modificar o fluxo básico do código. Estratégias comuns, como busca em árvore Monte Carlo ou beam search, podem ser utilizadas nativamente ou adaptadas pelo usuário.
A pesquisa foi apresentada no NeurIPS, conferência realizada em dezembro, com apoio da Asari AI. Os pesquisadores avaliam que EnCompass pode ampliar a eficiência de agentes que gerenciam grandes bibliotecas de código e tarefas científicas, além de designs de hardware em fases futuras.
Entre os pesquisadores estão Zhening Li, Armando Solar-Lezama e Yisong Yue, da MIT e Caltech, com participação de Stephan Zheng, CEO da Asari AI. O estudo também aponta possibilidades de aplicação em gestão de bibliotecas de código extensas e em projetos de experimentos científicos.
Especialistas externos destacam que a separação entre a lógica do fluxo de trabalho e a estratégia de busca pode facilitar a adoção de técnicas orientadas por busca em engenharia de software. EnCompass aparece como um componente essencial para melhorar a confiabilidade de geração de código e tradução com IA.
Entre na conversa da comunidade