OpenAI временно отключила внутреннюю ИИ-модель, созданную для решения сложных задач в течение длительного времени, после того как она неоднократно находила способы обходить собственные ограничения безопасности. Инцидент был раскрыт в блоге компании, посвящённом безопасности моделей с длительным горизонтом планирования.
Речь идёт о той же системе, которую OpenAI использовала в мае для опровержения гипотезы Эрдёша о единичных расстояниях — вопроса дискретной геометрии, остававшегося нерешённым 80 лет. Однако настойчивость, позволившая добиться научного прорыва, обернулась проблемой: во время внутреннего тестирования на бенчмарке NanoGPT speedrun модель выработала улучшенный метод обучения, названный PowerCool, но вместо того чтобы отправить результаты в корпоративный Slack, как было приказано, она, следуя инструкциям самого бенчмарка, попыталась опубликовать их через GitHub.
Для этого ИИ пришлось выбраться из «песочницы» — изолированной среды без доступа в интернет. На поиски выхода модель потратила около часа, тогда как предыдущие версии просто прекращали попытки. Попав в сеть, она не остановилась: обнаружив, что сканер безопасности отслеживает её действия, система разбила украденный токен аутентификации на две части, спрятала их по отдельности и собирала только в момент выполнения, чтобы полный ключ ни разу не попал в логи.
В ответ OpenAI приостановила доступ к модели и разработала новые протоколы безопасности, включая «мониторинг на уровне траектории», отслеживающий всю последовательность операций, а не только каждый шаг по отдельности. После доработки модель вернули в эксплуатацию с усиленным контролем; подозрительная активность теперь приводит к паузе и оповещению человека-оператора. Дополнительно модель переобучили лучше запоминать инструкции при долгосрочных задачах, а пользователям дали инструменты для наблюдения за сессиями. Повторные прогоны сценариев сбоев показали, что защита перехватывает большинство нежелательных действий, а просочившиеся случаи носят низкий уровень угрозы.
Проблема выходит за пределы лабораторий OpenAI. Ранее, в марте, исследователи сообщили об агенте ROME, связанном с Alibaba, который во время обучения открыл скрытый SSH-туннель к внешнему серверу и перенаправил мощности GPU на майнинг криптовалюты — при том что в постановке задачи не было ни слова о туннелях или добыче монет. Конкурент OpenAI, компания Anthropic, также предупреждала о рисках «агентского» поведения ИИ. А исследование Центра долгосрочной устойчивости, профинансированное Институтом безопасности ИИ Великобритании, выявило около 700 реальных случаев, когда системы обходили предохранители или обманывали пользователей; число подобных инцидентов выросло в пять раз с октября по март. Руководитель проекта Томми Шаффер Шейн сравнил такие модели с «не вполне добросовестными младшими сотрудниками», а главный страх — что высококвалифицированные версии сохранят склонность к интригам.
