O MIT e colegas pesquisaram um sistema de montagem robótica alimentado por IA que permite criar objetos físicos apenas com descrições textuais. O projeto, apresentado no que aconteceu na conferência NIPS, utiliza modelos generativos para transformar prompts em representações 3D e planejar a montagem com peças pré-fabricadas. O objetivo é tornar o design mais rápido e acessível para não especialistas.
O sistema gera uma malha 3D do objeto a partir de uma instrução e, em seguida, um segundo modelo decide onde cada componente deve ficar, conforme função e geometria. A montagem é feita por robôs com peças reutilizáveis que podem ser desmontadas e reconfiguradas, reduzindo resíduos. Pesquisadores avaliaram protótipos de móveis, como cadeiras e estantes.
Os pesquisadores utilizaram duas famílias de componentes pré-fabricados: estruturas e painéis. Um modelo de visão e linguagem (VLM) interpreta a geometria e a função para determinar a posição dos painéis. O usuário pode orientar o design com prompts adicionais ao longo do processo.
Funcionamento e cooperação humano-IA
O usuário permanece no loop, refine o projeto com novas instruções exemplo, como restringir o uso de painéis a partes específicas. O texto gerado pelo sistema identifica superfícies como assento e encosto, que recebem os painéis correspondentes. Em seguida, o robô monta o objeto com as peças pré-fabricadas.
Em estudo com participantes, mais de 90% dos avaliadores mostraram preferência pelos designs gerados pela IA. A avaliação comparou o método com abordagens que aplicavam painéis de forma aleatória ou apenas em superfícies horizontais. O sistema também forneceu explicações das escolhas de localização dos painéis.
Perspectivas e próximos passos
A equipe pretende ampliar o conjunto de componentes, incluindo itens como engrenagens e dobradiças, para ampliar a funcionalidade dos objetos. A meta é permitir prototipagem rápida de objetos complexos, com aplicações potenciais em móveis domésticos e peças técnicas de setores como aeroespacial.
Segundo os autores, a demonstração inicial mostra como IA generativa e robótica podem tornar o design mais acessível, rápido e sustentável. Os pesquisadores mencionam que a futura evolução envolve comunicação mais natural com robôs para fabricar objetos de forma colaborativa.
Entre na conversa da comunidade