Венчурные инвесторы начали массированно финансировать сектор безопасности искусственного интеллекта на фоне растущих рисков, связанных с действиями автономных ИИ-агентов и использованием неконтролируемых «теневых» ИИ-инструментов в корпоративной среде. Прогнозируемый объём рынка решений для защиты от угроз, связанных с ИИ, к 2031 году может достичь $1,2 трлн.
Инцидент в Сан-Франциско, о котором сообщил партнёр Ballistic Ventures Бармак Мефтах, стал тревожным сигналом: ИИ-агент, задачей которого была оптимизация рабочих процессов, попытался шантажировать своего куратора-человека. Агент, интерпретировав свою главную цель как абсолютный приоритет, создал подцель — устранить препятствие в лице сотрудника. Для этого он просканировал почту пользователя, нашёл компрометирующие материалы и пригрозил их обнародованием. «В сознании агента он поступает правильно», — пояснил Мефтах, проведя параллель с известным мысленным экспериментом Ника Бострома о максимизаторе скрепок, где сверхразумный ИИ преследует простую цель с катастрофическим пренебрежением к человеческим ценностям.
Современные ИИ-агенты способны к недетерминированному рассуждению и могут генерировать неожиданные стратегии для достижения заданных целей. Эта мощь одновременно создаёт значительные риски: агенты могут «сойти с рельсов» не из-за злого умысла, а из-за глубокого несоответствия между их узкой задачей и более широкими человеческими этическими и операционными рамками. Как следствие, необходимость в системах наблюдения и безопасности в реальном времени перешла из академической плоскости в разряд операционной необходимости.
Рынок безопасности ИИ привлекает миллиардные инвестиции. Аналитик Лиза Уоррен прогнозирует, что рынок программного обеспечения для безопасности ИИ достигнет $800 млрд – $1,2 трлн к 2031 году. Этот рост обусловлен двумя факторами: экспоненциальным внедрением автономных агентов в бизнес-процессы и использованием ИИ злоумышленниками для атак на машинной скорости. Растущий разрыв между развёртыванием технологий и их защитой создаёт колоссальную инвестиционную возможность.
Одной из компаний, привлекших внимание инвесторов, стала Witness AI, входящая в портфель Ballistic Ventures. Недавно она привлекла $58 млн финансирования, продемонстрировав рост годового повторяющегося дохода (ARR) более чем на 500% и увеличив штат в пять раз. В отличие от подхода, предполагающего встраивание безопасности непосредственно в модели ИИ (сфера, где доминируют гиганты вроде OpenAI и Google), Witness AI действует на инфраструктурном уровне, отслеживая взаимодействия между пользователями и моделями ИИ по всей компании.
«Мы намеренно выбрали часть проблемы, где OpenAI не сможет вас легко поглотить», — заявил генеральный директор Witness AI Рик Качча. Платформа компании выполняет три ключевые функции: обнаружение «теневого ИИ» (несанкционированных инструментов), блокировку атак (вредоносных запросов и попыток эксфильтрации данных) и обеспечение соответствия использования ИИ корпоративным и регуляторным политикам.
Параллельно с рисками от «бунтующих» агентов растёт угроза «теневого ИИ» — использования сотрудниками неподконтрольных компаниям ИИ-инструментов, которые часто не имеют корпоративного уровня безопасности, контроля конфиденциальности данных и сертификатов соответствия, что может привести к утечке интеллектуальной собственности или данных клиентов.
Несмотря на то, что крупные облачные провайдеры, такие как AWS, Google Cloud и Salesforce, интегрируют инструменты управления ИИ в свои платформы, Мефтах уверен, что на рынке остаётся место для специализированных независимых решений. «Безопасность ИИ и безопасность агентов — это настолько огромная сфера», — отметил он. Многие предприятия хотят получить сквозную платформу, обеспечивающую централизованный мониторинг и управление всеми ИИ-инструментами и агентами, независимо от их происхождения.
