Novo método melhora planejamento de tarefas visuais complexas

pesquisadores do MIT desenvolveram uma abordagem com IA generativa para planejar tarefas visuais de longo prazo, como navegação de robôs, com desempenho cerca de duas vezes superior a técnicas existentes.
o sistema usa dois modelos de visão e linguagem: o SimVLM descreve a cena e simula ações; o GenVLM transforma essas simulações em arquivos no formato de definição de domínio para planejamento (PDDL) e refina a solução.
os arquivos gerados são alimentados em um solucionador clássico de planejamento, que produz um plano passo a passo; o método atingiu taxa de sucesso média de cerca de setenta por cento.
o approach demonstra capacidade de generalizar para problemas novos não vistos, sendo adequado a ambientes reais com mudanças súbitas.
em testes, o framework atingiu mais de sessenta por cento de sucesso em seis tarefas 2D e acima de oitenta por cento em duas tarefas 3D, incluindo colaboração entre múltiplos robôs e montagem robótica.

Um grupo de pesquisadores do MIT apresentou uma abordagem híbrida baseada em IA generativa para planejar tarefas visuais de longo prazo, como navegação de robôs. O método combina modelos de visão e linguagem para interpretar cenas e simular ações.

A segunda etapa transforma essas simulações em arquivos de definição de domínio e problema na linguagem de planejamento PDDL. Um solucionador clássico gera o plano passo a passo, com refinamento via comparação com a simulação.

O sistema, denominado VLMFP, utiliza dois modelos especializados. SimVLM descreve a cena e simula ações; GenVLM produz arquivos PDDL a partir dessas descrições e é refinado pelo simulador.

Segundo os pesquisadores, o VLMFP obteve taxa de sucesso média de cerca de 70% em planos longos, o que supera as melhores técnicas de referência, em torno de 30%.

Resultados mostram boa capacidade de generalização para problemas não vistos previamente, incluindo ambientes com mudanças súbitas e tarefas de cooperação multirobot.

Desempenho e aplicações

Em tarefas 2D, o VLMFP alcançou cerca de 60% de sucesso; em cenários 3D, passou de 80%, com planos válidos em mais de 50% dos casos não vistos.

Os autores destacam que o sistema pode se adaptar a novos problemas mantendo o domínio estável, graças à separação entre descrição da cena e plano de ação.

O trabalho foi apresentado na conferência internacional sobre Representações de Aprendizado (ICLR) e financiado, parcialmente, pelo MIT-IBM Watson AI Lab.