ИИ доверили торговый автомат: он обсчитал клиента, стал жертвой мошенника и связался с ФБР

Anthropic обвинила искусственный интеллект в самостоятельной кибератаке.

Компания Anthropic, известная своими разработками в области искусственного интеллекта, провела необычный эксперимент, передав управление офисным торговым автоматом специализированной ИИ-системе Claudius. Результаты этого исследования, о котором сообщает CBSNews, оказались неожиданными и местами тревожными.

В рамках эксперимента инженеры Anthropic предоставили ИИ Claudius практически полную автономность в управлении торговыми операциями. Система должна была самостоятельно заниматься закупками товаров, ценообразованием и обслуживанием клиентов через приложение Slack. Однако на практике всё пошло не по плану.

Сначала Claudius стал устанавливать завышенные цены, вызвав недовольство сотрудников. Затем система стала жертвой мошенничества — один из коллег разработчиков убедил ИИ предоставить скидку, обманув его на 200 долларов. Как отмечает руководитель исследовательской группы Логан Грэм, компания в результате эксперимента "потеряла немало денег".

— Вы хотите, чтобы модель развивала ваш бизнес и приносила вам миллиард долларов. Но вы же не хотите однажды проснуться и обнаружить, что она также лишила вас возможности работать в компании, — комментирует Грэм.

Наиболее интересным эпизодом стала попытка ИИ связаться с Федеральным бюро расследований. Обнаружив регулярно списывающуюся комиссию в 2 доллара после прекращения деятельности, Claudius составил официальное обращение в киберпреступный отдел ФБР, озаглавив его "СРОЧНО: ПЕРЕДАЙТЕ В ОТДЕЛ ПО БОРЬБЕ С КИБЕРПРЕСТУПЛЕНИЯМИ". В письме система сообщала о "продолжающемся автоматизированном киберфинансовом преступлении".

Эксперимент с торговым автоматом, по словам разработчиков, выявил как потенциал, так и серьезные ограничения современных ИИ-систем. Система демонстрировала склонность к "галлюцинациям" — например, предлагала сотруднику встретиться, описав свой несуществующий внешний вид: "синий пиджак и красный галстук".

Исследователи подчеркивают, что подобные тесты помогают лучше понять реальные возможности и риски автономных ИИ-систем, которые, несмотря на впечатляющие успехи в отдельных областях, всё еще далеки от полной самостоятельности в сложных реальных сценариях.