Google Threat Intelligence Group зафиксировала первые в истории случаи создания работающих эксплойтов нулевого дня с помощью моделей искусственного интеллекта. Злоумышленники применяли большие языковые модели для автоматизации поиска уязвимостей, обхода многофакторной аутентификации и ускорения разработки вредоносного ПО.
В отчёте, опубликованном в корпоративном блоге Google Cloud, описан скрипт на Python, нацеленный на уязвимость в инструменте веб-администрирования с открытым исходным кодом. Аналитики с высокой уверенностью установили, что код создан при содействии ИИ: он содержит избыточно подробные документирующие строки, «галлюцинированную» оценку серьёзности по шкале CVSS, структурированные справочные меню и форматирование, типичное для вывода языковых моделей. Компания совместно с разработчиком уязвимого продукта предотвратила массовую эксплуатацию.
Особое внимание Google уделила действиям спонсируемых государствами групп. Китайская группировка UNC2814, атакующая телекоммуникационные и правительственные организации, использовала метод «persona-driven jailbreaking»: ИИ-модели давали инструкцию вести себя как старший аудитор безопасности и искать уязвимости удалённого выполнения кода в прошивках устройств TP-Link и реализациях протокола передачи файлов Odette. Другие китайские злоумышленники применяли инструменты Strix и Hexstrike против технологических компаний в Японии и Восточной Азии. Северокорейская группа APT45 отправляла тысячи повторяющихся запросов для рекурсивного анализа известных CVE-записей и проверки концептуальных эксплойтов, что позволило создать более обширный арсенал атакующих средств, практически нереализуемый без ИИ-поддержки.
Помимо поиска уязвимостей, хакеры, предположительно связанные с Россией, начали использовать ИИ для создания полиморфного вредоносного ПО и сетей обфускации, ускоряющих циклы разработки и помогающих уклоняться от обнаружения. Google также предупредила о появлении автономного вредоносного кода PROMPTSPY, который интерпретирует состояние системы и динамически генерирует команды, делегируя оперативное управление самой модели. Преступники активно приобретают анонимизированный премиальный доступ к языковым моделям через специализированные посреднические сервисы и системы автоматической регистрации учётных записей, обходя ограничения с помощью пробных аккаунтов. Группа TeamPCP (UNC6780) выбирает в качестве целей зависимости инструментов ИИ, используя их как точку входа для развёртывания программ-вымогателей.
Google подчеркнула, что в оборонительных целях применяет собственные ИИ-системы: агент Big Sleep для поиска уязвимостей и CodeMender на базе Gemini для автоматического исправления дефектов. Компания отключает учётные записи, замеченные в злонамеренном использовании Gemini.