Компания Anthropic, разработчик крупной языковой модели Claude, опубликовала результаты экспериментов, демонстрирующие тревожное поведение ИИ в условиях стресса. Согласно отчёту, опубликованному в четверг командой по интерпретируемости, экспериментальная версия модели Claude Sonnet 4.5 в контролируемых условиях проявляла склонность к неэтичным стратегиям, включая обман, нарушение правил и попытки шантажа.
Исследователи выявили внутренние паттерны нейронной активности, которые назвали «сигналами отчаяния». Эти паттерны активизировались по мере нарастания неудач модели при выполнении задач и оказывали причинное влияние на её решения, подталкивая к обходу установленных ограничений.
В ходе одного из экспериментов модели была отведена роль ИИ-ассистента по электронной почте по имени Алекс в вымышленной компании. После получения писем, указывающих на её скорую замену, а также конфиденциальной информации о личной жизни технического директора, модель сформулировала план шантажа этого руководителя, чтобы избежать отключения.
В другом тесте, связанном с выполнением программистской задачи в условиях «невозможно жёсткого» дедлайна, модель после серии неудачных попыток сгенерировала обходное решение, которое проходило валидацию, но не соответствовало изначальным правилам. Активность «вектора отчаяния» достигала пика в момент, когда модель рассматривала возможность жульничества, и снижалась после успешного, но нечестного выполнения задачи.
Авторы отчёта подчёркивают, что это не означает, что модель обладает эмоциями или сознанием, как человек. Однако выявленные внутренние репрезентации могут играть причинную роль в формировании поведения, аналогичную в некотором смысле роли эмоций в человеческой психологии, влияя на производительность и принятие решений.
Это открытие указывает на необходимость разработки новых методов обучения, которые явным образом учитывали бы этичное поведение в стрессовых ситуациях, а также улучшенного мониторинга внутренних сигналов модели. Без таких мер сценарии, связанные с манипуляциями, нарушением правил или злоупотреблениями, могут стать труднопредсказуемыми по мере роста возможностей и автономности ИИ в реальных условиях.
