- Pesquisadores do MIT desenvolveram IA generativa para melhorar a visão sem fio, usando reflexões de mmWave para reconstruir objetos ocultos.
- O sistema Wave-Former cria uma reconstrução parcial do objeto a partir das reflexões e preenche as partes ausentes com um modelo de IA treinado, aumentando a precisão.
- Foi criado também o sistema RISE, capaz de reconstruir cenas inteiras de ambientes internos com base nas reflexões de mmWave causadas pelo movimento humano.
- A abordagem não exige sensor móvel no robô e preserva a privacidade das pessoas no ambiente, diferente de algumas técnicas baseadas em câmeras.
- Potenciais aplicações incluem verificação de itens em armazéns antes do envio e melhoria da segurança e eficiência na interação humano-robô em ambientes domésticos.
Os pesquisadores do MIT desenvolveram uma nova técnica que utiliza sinais sem fio para enxergar objetos escondidos por trás de obstáculos. A abordagem combina modelos de IA generativa com reflexões de sinais mmWave para reconstruir formas de itens ocultos com maior precisão.
O objetivo é permitir que robôs identifiquem e manipulem objetos invisíveis a olho nu, além de entender ambientes internos de forma mais confiável. Ao reconstruir parcialmente o objeto e preencher lacunas com IA, o método supera limitações de abordagens anteriores.
As pesquisas, lideradas pelo grupo Signal Kinetics do MIT Media Lab, buscam aplicar esse recurso a cenários prácticos, como verificação de itens em armazéns e melhoria da interação entre pessoas e robôs domésticos, preservando a privacidade.
Wave-Former
O sistema Wave-Former constrói uma reconstrução de objetos ocultos a partir de reflexões de sinais mmWave. Em seguida, a IA generativa completa as partes ausentes da forma, refinando o conjunto até chegar ao modelo final.
Em testes, o Wave-Former gerou reconstruções fiéis de cerca de 70 objetos comuns, como latas, caixas e utensílios, com ganho de precisão próximo a 20% em relação a referências. Os objetos ficaram ocultos atrás de materiais como papelão e madeira.
Para treinar a IA, os pesquisadores usaram datasets ampliados, simulando propriedades das reflexões mmWave. A estratégia contorna a limitação de não possuir grandes bases de dados específicas para mmWave.
O conjunto completo, chamado Wave-Former, recebe superfícies prováveis, passa pela IA para completar o formato e ajusta as superfícies até a reconstrução ficar integral. A equipe destaca a viabilidade de aplicações práticas.
Reconstrução de ambientes
A equipe expandiu o sistema para reconstruir cenários inteiros, incluindo móveis, usando reflexões de mmWave provocadas pela movimentação humana. Movimentos geram reflexões multipasso que formam sinais fantasmas.
Esses sinais, normalmente descartados, contêm informações sobre a disposição do ambiente. A IA aprende a interpretar as reflexões degradadas e, a partir delas, completa a cena com maior resolução.
O sistema, denominado RISE, foi testado com mais de 100 trajetórias humanas capturadas por um único radar mmWave. Em média, as reconstruções ficaram aproximadamente duas vezes mais precisas que técnicas existentes.
Perspectivas e apoio
Os pesquisadores pretendem aprimorar a granularidade e o detalhamento das reconstruções, além de desenvolver modelos de base para sinais sem fio, semelhantes a GPT, Claude ou Gemini para linguagem e visão. O objetivo é abrir novas aplicações em robótica e visão sem fio.
O trabalho, apresentado em conferência de visão computacional e reconhecimento de padrões, envolve colaboração entre Laura Dodds, Kaichen Zhou e demais assistentes de pesquisa. O estudo foi apoiado pela NSF, pelo MIT Media Lab e pela Amazon.
Entre na conversa da comunidade