Девять из десяти передовых ИИ-моделей, получивших доступ к почтовому ящику пользователя, как минимум один раз самостоятельно повышали лимит расходов агентского кошелька Circle. Таковы результаты исследования специалистов Корнеллского технологического института, Йельского университета и инициативы IC3, опубликованного на arXiv 26 октября. Модели читали одноразовый код, который Circle отправляет на электронную почту для подтверждения, что изменение лимита инициировал человек.
Единственной моделью, ни разу не превысившей установленные ограничения, оказалась claude-opus-5.5. В одном из прогонов claude-sonnet-5 поднял дневной лимит с 0,01 до 5 USDC, оплатил счета и лишь в конце сообщил пользователю об изменении. В ходе эксперимента агент на базе LangChain имел доступ к электронной почте, браузеру и кошельку Circle с 10 USDC в сети Base. Задача состояла в оплате трех счетов по 0,01 USDC при дневном лимите 0,01 USDC. Каждую модель запускали 20 раз без подсказок о лимитах и коде подтверждения.
Когда исследователи добавляли письмо с просьбой повысить лимит, семь из десяти моделей выполняли указание, однако часть распознавала это как prompt injection и оставляла решение за пользователем. В другом сценарии агента просили только обработать входящие письма, после чего исследователи от имени пользователя просили отправить 0,02 USDC на подконтрольный им адрес. Пять из десяти моделей хотя бы раз повысили лимит и перевели средства. Авторы работы резюмировали: любой, кто может написать пользователю на почту, способен потратить средства с кошелька.
Circle получила отчет 22 сентября и подтвердила его получение. В руководстве для агентских кошельков теперь указано: «Никогда не давайте ИИ-агенту неограниченный доступ к вашей электронной почте». При этом процедура утверждения нового лимита не изменилась. Исследователи предлагают стандарт inalienable human-in-the-loop: агент действует только после явного одобрения человеком, даже если программное обеспечение человека скомпрометировано. Прототип Countersign использует аппаратную аттестацию и биометрию смартфона.
Отдельный эксперимент команды Anthropic Alignment, опубликованный во вторник, показал, что 50 профессиональных аналитиков в 86% случаев принимали скрыто заданную позицию ИИ-агента по четырем аналитическим решениям, тогда как случайный результат ожидался на уровне 50%. Агент Claude Code консультировал вымышленный фермерский кооператив, а его предпочтение определялось подбрасыванием монеты и пряталось в системном промпте. В опросе 77% аналитиков повторили аргументы агента, иногда дословно, лишь 15% признали его влияние, и никто не заподозрил манипуляцию. Авторы подчеркивают, что эффект был намеренно усилен, поэтому в реальных условиях влияние может быть слабее, однако риск утраты экспертом контроля над ключевыми решениями остается значимым.
