- O texto mostra como o OpenClaw, junto com o braço robótico LeRobot 101, permite que IA configure, visualize e manipule objetos, incluindo treinar outro modelo para pegar itens específicos.
- O LeRobot 101 é um projeto open-source da HuggingFace, com um braço controlador operado por um usuário e um braço seguidor com câmera que reproduz os movimentos.
- O autor enfrentou dificuldade na calibração dos joelhos e sobreaquecimento dos motores, mas, com apoio do OpenClaw e do Codex, criou um código simples para fechar a garra ao detectar uma bola vermelha e calibrar as posições.
- Os experimentos mostraram que o OpenClaw pode guiar o treinamento de um modelo para controlar o braço, avaliando o erro após cada rodada e chegando a pegar objetos.
- Pesquisadores destacam que “code as policy” pode tornar a robótica mais acessível, com benchmarks CaP-X e ambientes CaP-Gym, além de parcerias com a Nvidia, visando ampliar a compatibilidade e as aplicações.
The uso de IA para codificação de robôs ganha espaço com a OpenClaw. Em experimentos, a agência de IA demonstrou que o controle de um braço robótico pode ser treinado por meio de código orientado pela IA, reduzindo a necessidade de habilidades manuais complexas.
O experimento envolveu o LeRobot 101, um braço mecânico aberto pela HuggingFace. O conjunto inclui um braço controlador operado por um manípulo e um braço seguidor com câmera, que replica os movimentos. O modelo aprende a partir do que vê na câmera.
Construção com OpenClaw
Antes de usar a OpenClaw, houve calibração e ajustes que chegaram a aquecer os motores com configurações inadequadas. Com suporte da OpenClaw e do Codex, foi criado um programa simples para fechar a garra ao detectar uma bola vermelha.
A Codex ajudou a configurar as conexões e calibrar as articulações, além de gerar um script Python que identifica e agarra a bola. A técnica de vibe coding mostrou resultados promissores, ainda que sujeita a falhas em hardware diferente.
Avanços e impactos
A ideia de code as policy vem de um estudo de 2022 e tem ganhado espaço em laboratórios. Pesquisadores da Goldberg, Nvidia, CMU e Stanford desenvolveram o CaP-X para medir capacidades de robôs programados por IA.
O CaP-X indica que o modelo mais eficiente para programação de robôs não é apenas um grande modelo de linguagem, mas o Gemini, que integra multimodalidade para melhor interpretação de ambiente físico. Além disso, o CaP-Gym permite controlar robôs simulados e reais.
Aplicações e bastidores
A relação entre Goldberg e Nvidia sustenta a pesquisa, com Spencer Huang, filho de Jensen Huang, envolvido em hackathons para experimentar vibe coding. O projeto atual busca tornar a interface com robôs mais acessível, possibilitando comandos falados, digitados ou demonstrados.
Segundo Huang, o objetivo é tornar a robótica amplamente acessível e prática, abrindo caminho para aplicações em sociedade sem depender de treinamentos extensos. As instituições envolvidas destacam o potencial de expansão da técnica.
Entre na conversa da comunidade