À medida que a inteligência artificial sai das interfaces digitais para o mundo físico, os riscos aumentam significativamente. Um novo estudo publicado na revista Machine Intelligence Research examina os riscos de segurança e éticos quando modelos de visão-linguagem (VLMs) e modelos de visão-linguagem-ação (VLAs) guiam sistemas embarcados, como veículos autônomos, drones, robôs de serviço e máquinas industriais. Esses sistemas podem perceber, raciocinar e agir, mas também introduzem vulnerabilidades onde erros podem se traduzir em danos físicos.
A revisão, conduzida por pesquisadores do Instituto de Automação da Academia Chinesa de Ciências; University College London; Universidade Minzu da China; e da Academia Chinesa de Eletrônica e Tecnologia da Informação, mapeia os pontos de falha em percepção, planejamento, seguimento de instruções e interação humano-robô. Ela identifica riscos como alucinações, falsificações sintéticas, ataques adversários, vazamento de privacidade e execução insegura. Por exemplo, um modelo pode descrever objetos que não existem devido a dados de treinamento tendenciosos ou alinhamento multimodal fraco, levando um robô a tomar decisões erradas. Entradas maliciosamente criadas, como placas de trânsito forjadas ou vozes clonadas, podem manipular a percepção e o planejamento, enquanto pequenas perturbações adversárias ou portas dos fundos ocultas podem contornar os controles de segurança.
Os autores enfatizam que esses riscos não são isolados. Em um chatbot, erros podem resultar em desinformação; em um veículo autônomo ou robô industrial, podem levar a colisões, danos a equipamentos ou falhas em missões. As salvaguardas existentes são frequentemente específicas para benchmarks, fragmentadas ou pesadas demais para uso em tempo real. O estudo pede defesas unificadas e adaptativas que cubram todo o pipeline, desde a entrada do sensor até a ação física.
Para combater essas ameaças, os pesquisadores organizam estratégias defensivas em camadas interconectadas. Isso inclui filtragem de alucinações e alinhamento baseado em visão para melhorar a precisão da percepção; detecção de falsificações multimodais, marcas d'água e rastreamento de proveniência para verificar a autenticidade; defesas contra perturbações adversárias, portas dos fundos e jailbreaks; técnicas de preservação de privacidade, como privacidade diferencial, computação multiparte segura e criptografia homomórfica; e salvaguardas para navegação, comunicações e controle físico. Além disso, eles propõem o uso de explicações causais, alinhamento de intenção e avaliação de risco para ajudar os robôs a interpretar instruções ambíguas, antecipar perigos e corrigir ações.
A percepção central é que nenhum filtro único pode proteger um agente embarcado. A proteção deve seguir todo o caminho, desde a entrada do sensor até o raciocínio do modelo, a arquitetura do sistema e a execução física. Os autores argumentam que o desafio não é apenas tornar os modelos mais precisos, mas garantir que os sistemas permaneçam seguros quando sensores, entradas de linguagem e condições operacionais são imperfeitas. Eles defendem a combinação de defesas em vez de aplicar patches isolados, com métricas de risco transparentes, monitoramento contínuo e supervisão humana para decisões críticas.
Para desenvolvedores e reguladores, o estudo fornece uma lista de verificação prática para avaliar sistemas embarcados antes da implantação em larga escala. Futuras plataformas podem integrar raciocínio interpretável, detecção de ataques, computação que preserva a privacidade e controles de segurança dinâmicos sob protocolos de avaliação abertos e reproduzíveis. Os autores pedem projetos que abordem quatro dimensões em conjunto: robustez técnica, conformidade regulatória, equidade social e sustentabilidade ambiental.
Tal abordagem poderia apoiar transporte autônomo mais seguro, assistência em saúde, automação de armazéns, inspeção industrial e robótica colaborativa, ao mesmo tempo em que torna a responsabilidade mais fácil de rastrear quando ocorrem falhas. No entanto, a revisão alerta que fortes resultados de laboratório podem não se transferir diretamente para ambientes ruidosos, culturalmente diversos e com recursos limitados. O progresso depende de cooperação interdisciplinar e testes que meçam não apenas o sucesso da tarefa, mas também o comportamento seguro sob estresse.
O estudo foi publicado com o DOI 10.1007/s11633-025-1626-x e aparece em uma edição especial sobre segurança e ética da IA generativa. A pesquisa foi parcialmente apoiada pela Fundação Nacional de Ciências Naturais da China, pelo Programa Prioritário de Pesquisa Estratégica da Academia Chinesa de Ciências e pelo Conselho de Pesquisa em Engenharia e Ciências Físicas (EPSRC) do Reino Unido.
