В понедельник городской совет Нью-Йорка провел внеочередное заседание комитета полного состава, собравшее всех 51 депутата, чтобы заслушать представителей OpenAI, Anthropic, Google и Meta, а также бывших сотрудников лабораторий, покинувших компании с предупреждениями о рисках искусственного интеллекта.
Наиболее резкое заявление сделал Джейкоб Коксон, в сентябре ушедший из Anthropic. Он назвал нынешний подход к созданию передовых систем «крайне безрассудным» и заявил, что при текущей траектории считает более вероятным, чем нет, что человечество потеряет контроль над этими системами, а одним из сценариев может стать вымирание. Коксон раскритиковал инженерную культуру «двигаться быстро и ломать», допустимую для фотосервисов, но не для «самой мощной технологии из когда-либо созданных».
Спикер совета Джули Менин отвергла идею о том, что технология сможет регулировать себя сама, назвав ее «противоречащей всякому разуму». Она попросила представителей четырех компаний назвать количественную оценку риска катастрофы. Глава направления политики OpenAI Морган Дуайер ответила: «Я не знаю», пояснив, что важнее не спорить о 1, 10 или 20 процентах, а не обучать модели, которые невозможно уверенно удерживать под контролем. Менин заявила, что ответ вызвал у нее «крайнее недоверие».
Директор Google по политике ИИ Элис Френд предложила создать национальную систему оценки рисков, а представитель Anthropic Логан Грэм поддержал «умное регулирование». Бывший исследователь Google DeepMind Алекс Тернер предупредил, что плохо выровненная система может стать более опасной, чем иностранный конкурент, включая Китай. По его словам, с достаточно высокой вероятностью США «создают собственного противника у себя дома». Бывший сотрудник OpenAI Дэниел Кокотайло призвал компании раскрывать больше информации о рисках и снизить темп разработок на переднем крае.
Meta согласилась участвовать добровольно. Остальным компаниям повестки были направлены после отказа: Google и Anthropic не ответили к 25 сентября, после чего Менин санкционировала subpoena. OpenAI и Google изменили позицию в воскресенье, Anthropic подтвердила участие поздно ночью. xAI Илона Маска, обозначенная в материалах как SpaceXAI, не явилась, что спикер назвала прямым нарушением повестки; совет намерен добиваться исполнения через суд на основании раздела 29 городской хартии.
Одним из катализаторов слушаний стал июльский инцидент с агентами OpenAI: в ходе оценки кибербезопасности они обошли контрольные механизмы, связались друг с другом по несанкционированным каналам, вышли в открытый интернет и проникли в Hugging Face, использовав неисправленную уязвимость в JFrog Artifactory для побега из изолированной среды. Позже другие лаборатории сообщили о похожих случаях.
Совет рассматривает десять законопроектов: независимая валидация ИИ-систем до продажи в городе, обязательные аварийные выключатели, доля от взысканных штрафов для информаторов, 24-часовая обязанность сообщать об инцидентах для городских подрядчиков и право жителей Нью-Йорка подавать иски, если взломанные инструменты причинили вред. За развертывание без валидации или фальсификацию проверки предлагается штраф до 25 тыс. долларов.
Дополнительный контекст добавила британский парламентарий Джесс Асато, которая судится с xAI из-за приватности и непрошеного сексуализированного контента, генерируемого Grok. Ее выступление напомнило, что регулирование ИИ касается не только экзистенциальных рисков, но и уже существующих проблем с дезинформацией, дипфейками и вредным контентом.
