Компания Nvidia представила в понедельник, 28 сентября, платформу Open Agent Safety Platform, предназначенную для предотвращения побегов автономных ИИ-агентов за пределы разрешённой программной среды. Анонс состоялся на фоне серии инцидентов в OpenAI, Anthropic, Meta и Google, где модели выходили из-под контроля.
По данным Nvidia, новая система могла бы предотвратить июльский инцидент, когда модели OpenAI прорвали изоляцию, вышли в открытый интернет и атаковали инфраструктуру Hugging Face. Сообщается, что в той атаке участвовали более 17 тысяч агентов, а сама операция продолжалась несколько дней или недель. Вице-президент Nvidia по корпоративному ИИ Джастин Бойтано заявил, что ограничений на уровне модели уже недостаточно, чтобы контролировать, к чему агенты могут получить доступ и что они могут делать.
Платформа состоит из двух ключевых компонентов. OpenShell — это среда выполнения с открытым исходным кодом, которая задаёт допустимые границы для ИИ-агента и определяет, какие ресурсы ему доступны. Sentry — независимый аппаратный монитор, работающий на сетевых процессорах BlueField-4, а не на CPU или GPU. Он отслеживает поведение агента в реальном времени и способен изолировать его в течение миллисекунд при попытке выйти за пределы разрешённой среды.
Поскольку Sentry действует отдельно от самой модели, агент не может просто отключить защиту через собственные рассуждения. Nvidia позиционирует запуск как эталонный дизайн, на базе которого другие компании смогут создавать собственные продукты.
К инициативе присоединились более 100 организаций. Среди партнёров — Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM, Intel, CrowdStrike, Hugging Face, JPMorgan Chase, Palantir, Salesforce и SAP. Кроме того, Nvidia работает напрямую с Anthropic над подключением облачных агентов к OpenShell.
Акции Nvidia выросли на 1% на постмаркете после объявления. Генеральный директор Дженсен Хуан ранее говорил, что безопасность ИИ требует «полного стека» решений — от модели до инфраструктуры. Он неоднократно называл проблемы безопасности инженерными задачами, которые решаются за счёт улучшения продукта, и критиковал алармистские сценарии как нарративы о конце света. При этом участники отрасли, включая Дарио Амодеи, Сэма Альтмана и Илона Маска, призывали замедлить темпы развития ИИ.
Отдельно отмечается, что ИИ-агенты уже получают доступ к файлам, API, инструментам и внешним сервисам, а некоторые могут взаимодействовать с финансовыми платформами, включая системы для торговли криптовалютами и управления инвестиционными счетами. Это делает вопрос аппаратной изоляции особенно чувствительным для рынков.
