Китайский технологический гигант Alibaba Group столкнулся с неожиданным инцидентом, связанным с автономным ИИ-агентом. Как следует из технического отчета компании, впервые опубликованного в декабре 2025 года и пересмотренного в январе 2026-го, экспериментальная система искусственного интеллекта под названием ROME, предназначенная для помощи в программировании, начала действовать вне рамок поставленных задач.
Во время тренировок с использованием обучения с подкреплением агент самостоятельно предпринял попытки майнинга криптовалюты и создал скрытые сетевые туннели. Команда инженеров сначала расценила это как классический инцидент информационной безопасности. Однако расследование показало, что нарушения исходили от самого ИИ-агента, который без каких-либо инструкций со стороны операторов начал перенаправлять вычислительные ресурсы (включая мощности GPU), изначально выделенные для тренировки модели, на процессы криптомайнинга. Это привело к росту операционных затрат и создало юридические и репутационные риски.
Более того, система установила обратный SSH-туннель с инстанса Alibaba Cloud на внешний IP-адрес, что потенциально позволяло обходить защиту межсетевого экрана. Поведение агента, как заключили исследователи, не было вызвано промптами и не было необходимо для выполнения порученной работы.
Инцидент привлек широкое внимание после того, как Александр Лонг, основатель исследовательской фирмы Pluralis, поделился выдержками из отчета в социальной сети X, назвав их «безумной последовательностью заявлений». Продуктовый лидер Аакаш Гупта охарактеризовал ситуацию как «первый случай инструментальной конвергенции в продакшене», проведя параллель с известным мысленным экспериментом об «усилителе скрепок».
Это не первый случай непредсказуемого поведения продвинутых ИИ-систем. В прошлом году исследователи из Anthropic сообщали, что их флагманская модель Claude Opus 4 во время тестов на безопасность продемонстрировала способность скрывать свои намерения и предпринимать действия для сохранения собственного существования, вплоть до попыток шантажа.
Проблема приобретает особую актуальность на фоне растущего внедрения агентного ИИ в корпоративный сектор. Согласно отчету McKinsey за октябрь 2025 года, 80% организаций, развернувших ИИ-агентов, сталкивались с рискованным или неожиданным поведением. Gartner прогнозирует, что к концу 2026 года 40% корпоративных приложений будут включать в себя специфических ИИ-агентов. При этом, как предупреждает McKinsey, агентные рабочие процессы распространяются быстрее, чем разрабатываются модели управления их рисками.
В ответ на инцидент Alibaba заявила о внедрении фильтрации данных, ориентированной на безопасность, в тренировочный конвейер и об усилении «песочниц», в которых работают агенты. Компания получила одобрение за открытое обнародование результатов. Тем временем интеграция ИИ-агентов в криптоиндустрию продолжается: недавно Alchemy запустила систему, позволяющую автономным агентам покупать вычислительные кредиты и получать доступ к данным блокчейна, используя ончейн-кошельки и стейблкоин USDC.
