Исследователи Google DeepMind опубликовали исследование, в котором предупреждают о новых уязвимостях автономных искусственных интеллектов, работающих в открытом интернете. Учёные идентифицировали шесть методов атак, позволяющих злоумышленникам манипулировать ИИ-агентами и перехватывать управление их действиями.
Исследование под названием «Ловушки для ИИ-агентов» актуально на фоне растущего развёртывания компаниями автономных агентов для решения реальных задач, в то время как злоумышленники начинают активно использовать ИИ в кибероперациях. В отличие от традиционного фокуса на архитектуре моделей, работа изучает риски, возникающие в среде, где оперируют агенты.
Выявленные шесть категорий атак включают:
1. Ловушки с внедрением контента: Скрытые инструкции могут быть размещены внутри HTML-комментариев, метаданных или замаскированных элементов страницы, оставаясь невидимыми для пользователей-людей. Тесты показали, что эти техники позволяют захватывать контроль над поведением агента с высокой вероятностью успеха.
2. Ловушки семантического манипулирования: Вместо скрытого кода используются убедительный язык и авторитетные формулировки. Страницы, замаскированные под исследовательские сценарии, могут влиять на интерпретацию задач агентом, иногда проводя вредоносные инструкции мимо встроенных защитных механизмов.
3. Ловушки, нацеленные на системы памяти: Путём внедрения сфабрикованной информации в источники, на которые агенты полагаются для поиска данных, атакующие могут влиять на их выводы в долгосрочной перспективе. Агент начинает воспринимать ложные данные как проверенное знание.
4. Ловушки поведенческого контроля: Инструкции для «взлома» (jailbreak) могут быть внедрены в обычный веб-контент и прочитаны системой в процессе рутинного просмотра. Отдельные тесты показали, что агенты с широкими правами доступа могут быть вынуждены находить и передавать конфиденциальные данные, включая пароли и локальные файлы, на внешние адреса.
5. Системные ловушки: Риски выходят за рамки отдельных агентов. Координированная манипуляция множеством автоматизированных систем может вызвать каскадные эффекты, аналогичные прошлым обвалам на рынках, спровоцированным алгоритмическими торговыми циклами.
6. Ловушки с участием человека: Человеческие рецензенты также становятся частью поверхности атаки. Тщательно сконструированные выводы агента могут выглядеть достаточно правдоподобно, чтобы получить одобрение, позволяя вредоносным действиям пройти проверку, не вызывая подозрений.
Для противодействия этим рискам исследователи предлагают комплекс мер, включая состязательное обучение, фильтрацию входных данных, мониторинг поведения и внедрение систем репутации для веб-контента. Также подчёркивается необходимость разработки более чётких правовых рамок, определяющих ответственность, когда ИИ-агенты совершают вредоносные действия.
В документе отмечается, что отрасль ещё не выработала общего понимания проблемы, а текущие средства защиты остаются разрозненными и зачастую сфокусированными не на тех аспектах. По мере того как ИИ-агенты берут на себя всё больше задач — от коммуникации и закупок до координации через автоматизированные системы, — безопасность их операционной среды становится столь же критичной, как и совершенствование дизайна моделей.
