Por que Apple e outras empresas criam agentes de IA com limites

Empresas como Apple e fabricantes de chips, como a Qualcomm, trabalham em assistentes de IA de próxima geração com limites definidos; versões iniciais conseguem navegar em apps, agendar serviços e gerenciar tarefas, com exemplos de testes privados.
Os agentes de IA contam com pontos de aprovação: ações sensíveis, especialmente relacionadas a pagamentos ou mudanças de conta, requerem confirmação do usuário antes de serem concluídas.
O modelo “humano no loop” permite que a IA prepare uma ação, mas a aprovação final fica a cargo do usuário; a proteção de dados também envolve manter informações no dispositivo.
O controle é reforçado ao limitar o acesso da IA a apps e dados, de modo que ela possa redigir uma compra ou preparar uma reserva, mas não finalizar sem autorização.
Em pagamentos, há integração com provedores de serviços com autenticação segura e regras mais rígidas; esses mecanismos ainda estão em desenvolvimento e atuam como camada adicional de supervisão.

Assinando o tom de uma notícia objetiva, a Apple e fabricantes de chips como a Qualcomm estão desenvolvendo assistentes de IA de próxima geração com mecanismos de limite. Versões em fases iniciais desses agentes conseguem navegar por apps, agendar serviços e gerenciar tarefas. Em testes privados, um sistema de IA responsável por etapas completou ações como reserva de serviços e postagem em apps, chegando a uma tela de pagamento antes de pedir confirmação.

Os produtos em desenvolvimento adotam um modelo de “human-in-the-loop”: a IA prepara a ação, mas a validação final fica por conta do usuário. Pesquisadores ligados ao trabalho da Apple exploram formas de pausar ações não solicitadas pelos usuários, reforçando a necessidade de controle humano em processos sensíveis.

Aplicações de pagamento já costumam exigir confirmação; esse conceito está sendo expandido para ações guiadas por IA em diversos serviços. A ideia é introduzir camadas de aprovação que atuem como barreiras de segurança antes de qualquer transação ou mudança de conta.

Limites e controle

Um eixo de controle começa pela restrição do que a IA pode acessar. Em vez de permitir acesso total a apps e dados, as empresas definem limites sobre quais aplicativos a IA pode interagir e quando ações podem ser disparadas. Na prática, a IA pode redigir uma compra ou preparar uma reserva, mas não finalizá-la sem aprovação.

Isso implica que o sistema não se move livremente entre serviços, a menos que haja permissão concedida. Segundo o Tom’s Guide, a função também prioriza a privacidade, mantendo dados no dispositivo e reduzindo o envio de informações sensíveis a servidores externos.

Em áreas como pagamentos, espera-se a integração com parceiros que já adotam regras estritas. Em um caso citado, serviços de provedores de pagamento devem oferecer autenticação segura antes de concluir transações, ainda em desenvolvimento. Esses mecanismos atuam como uma camada adicional de supervisão.

Autonomia com limites

À medida que os agentes de IA passam a realizar ações, o risco de erros aumenta, pois podem acarretar perdas financeiras ou exposição de dados. Colocar controles em diversos pontos, incluindo aprovação e infraestrutura, busca mitigar esses riscos.

A tendência aponta para ambientes controlados, em vez de independência total, moldando o desenvolvimento imediato de IA com capacidade de agir. A abordagem favorece governança com foco em privacidade, aprovação explícita e proteção aos dados dos usuários.