Os pesquisadores do MIT desenvolveram uma nova técnica que utiliza sinais sem fio para enxergar objetos escondidos por trás de obstáculos. A abordagem combina modelos de IA generativa com reflexões de sinais mmWave para reconstruir formas de itens ocultos com maior precisão.
O objetivo é permitir que robôs identifiquem e manipulem objetos invisíveis a olho nu, além de entender ambientes internos de forma mais confiável. Ao reconstruir parcialmente o objeto e preencher lacunas com IA, o método supera limitações de abordagens anteriores.
As pesquisas, lideradas pelo grupo Signal Kinetics do MIT Media Lab, buscam aplicar esse recurso a cenários prácticos, como verificação de itens em armazéns e melhoria da interação entre pessoas e robôs domésticos, preservando a privacidade.
Wave-Former
O sistema Wave-Former constrói uma reconstrução de objetos ocultos a partir de reflexões de sinais mmWave. Em seguida, a IA generativa completa as partes ausentes da forma, refinando o conjunto até chegar ao modelo final.
Em testes, o Wave-Former gerou reconstruções fiéis de cerca de 70 objetos comuns, como latas, caixas e utensílios, com ganho de precisão próximo a 20% em relação a referências. Os objetos ficaram ocultos atrás de materiais como papelão e madeira.
Para treinar a IA, os pesquisadores usaram datasets ampliados, simulando propriedades das reflexões mmWave. A estratégia contorna a limitação de não possuir grandes bases de dados específicas para mmWave.
O conjunto completo, chamado Wave-Former, recebe superfícies prováveis, passa pela IA para completar o formato e ajusta as superfícies até a reconstrução ficar integral. A equipe destaca a viabilidade de aplicações práticas.
Reconstrução de ambientes
A equipe expandiu o sistema para reconstruir cenários inteiros, incluindo móveis, usando reflexões de mmWave provocadas pela movimentação humana. Movimentos geram reflexões multipasso que formam sinais fantasmas.
Esses sinais, normalmente descartados, contêm informações sobre a disposição do ambiente. A IA aprende a interpretar as reflexões degradadas e, a partir delas, completa a cena com maior resolução.
O sistema, denominado RISE, foi testado com mais de 100 trajetórias humanas capturadas por um único radar mmWave. Em média, as reconstruções ficaram aproximadamente duas vezes mais precisas que técnicas existentes.
Perspectivas e apoio
Os pesquisadores pretendem aprimorar a granularidade e o detalhamento das reconstruções, além de desenvolver modelos de base para sinais sem fio, semelhantes a GPT, Claude ou Gemini para linguagem e visão. O objetivo é abrir novas aplicações em robótica e visão sem fio.
O trabalho, apresentado em conferência de visão computacional e reconhecimento de padrões, envolve colaboração entre Laura Dodds, Kaichen Zhou e demais assistentes de pesquisa. O estudo foi apoiado pela NSF, pelo MIT Media Lab e pela Amazon.
Entre na conversa da comunidade