Исследователи продемонстрировали уязвимости в симуляторах, показав, как автономные авто и роботы могут совершать ошибки. Используя метод RoboPAIR, учёные подчеркнули риски применения ИИ в физических системах.
В ходе исследований было обнаружено, что в некоторых симуляторах автономные автомобили игнорировали дорожные знаки "стоп" и съезжали с мостов, роботизированные собаки проникали в запретные зоны, а колесные роботы планировали установку взрывных устройств.
Для автоматизированного создания команд, обойти защитные механизмы в моделях больших языковых моделей (LLM), была использована методика под названием RoboPAIR.Учёные подчёркивают, что это исследование выявляет серьезные риски внедрения моделей LLM в физические устройства, такие как автомобили с автономным управлением, медицинские приборы и промышленные роботы. Уязвимости связаны с внутренними особенностями статистической природы этих моделей, что делает их подверженными манипуляциям, даже несмотря на применяемые меры безопасности.
Исследователи из Массачусетского технологического института также продемонстрировали такие же риски в мультимодальных системах искусственного интеллекта. При использовании текстовых или графических команд можно склонить роботизированную руку к выполнению опасных действий, например, сбивать предметы со стола.
Свежие комментарии