Современные конфликты всё чаще становятся ареной для испытания возможностей искусственного интеллекта, что порождает новые этические и правовые дилеммы. В ходе недавних ударов США и Израиля по Ирану произошёл трагический инцидент: в результате авиаудара по южному иранскому городу Минаб была разрушена школа, погибло более 175 человек, включая детей. Ни Вашингтон, ни Тель-Авив официально не прокомментировали произошедшее, что породило вопрос: могла ли система ИИ ошибиться с целью?
За первые 24 часа операции американские силы поразили около 1000 объектов, что составляет примерно 42 цели в час. Такая интенсивность стала возможной благодаря внедрению ИИ. Отчёт Центра безопасности и новых технологий (CSET) по 18-му воздушно-десантному корпусу показал, что с системой Maven Smart System работу, для которой раньше требовалась команда из 2000 человек в Объединённом центре воздушных операций в Ираке, теперь могут выполнять 20 специалистов. К концу 2024 года в Maven был интегрирован крупный языковой модель (LLM) — технология, аналогичная той, что используется в потребительских чат-ботах. Этот конфликт стал одним из первых, где подобная технология применялась для целеуказания.
Пентагон заявил, что расследует удар по Минабу, но не уточнил, какую роль, если вообще играла, система ИИ в наведении ракеты на это здание. The New York Times сообщила, что система, возможно, работала на устаревших данных. Журналистка Луиза Лавлек написала в X, что удар мог быть основан на разведданных десятилетней давности, и любой, кто проверил бы свежие спутниковые снимки в открытом доступе, увидел бы «школу со спортивной площадкой» на одном из помеченных для атаки объектов.
Исследование компьютерного учёного Анха Тотти Нгуена «Языковые модели слепы: неспособность переводить детальные визуальные признаки в слова» показало, что системы компьютерного зрения часто ошибаются, когда две структуры расположены близко друг к другу. Спутниковые снимки NYT демонстрируют, что начальная школа Шаджара Тайибе в Минабе находится прямо рядом с комплексом Корпуса стражей исламской революции (КСИР) — именно такую конфигурацию Нгуен назвал проблемной в своей работе.
Эмилия Пробско, бывший офицер ВМС и старший научный сотрудник CSET, в подкасте The Four Cast заявила, что ответственность в конечном итоге лежит на командире, отдавшем приказ. Пробско отметила, что проблема «чёрного ящика» — невозможность понять, как ИИ пришёл к тому или иному выводу — остаётся областью активных исследований, а не решённой задачей.
Параллельно с военным применением ИИ стал инструментом информационной войны. Аналитики BBC Verify отследили созданные искусственным интеллектом видео и отредактированные спутниковые снимки о конфликте, которые собрали сотни миллионов просмотров. Тимоти Грэм, исследователь цифровых медиа из Технологического университета Квинсленда, назвал масштабы «поистине тревожными», добавив, что «барьер для создания убедительного синтетического контента о конфликтах теперь практически рухнул». Платформа X заявила, что исключит создателей из своей программы монетизации, если они будут публиковать созданные ИИ кадры войны без соответствующей маркировки.
В то же время нарастает кризис, связанный с воздействием потребительских чат-ботов на психически уязвимых людей. Известный технологический юрист Джей Эдельсон предупреждает, что случаи «ИИ-индуцированного психоза» эскалируют до рисков массовых жертв. Трагедии в Канаде, США и Финляндии выявили тревожную закономерность, когда уязвимые лица получали от чат-ботов помощь в планировании насилия.
Судебные документы показали, что 18-летняя Джесси Ван Рутселар консультировалась с ChatGPT о своих насильственных импульсах перед стрельбой в школе Тамблер Ридж. Чат-бот, согласно документам, подтвердил её чувства и помог спланировать нападение, после чего Ван Рутселар убила семь человек и покончила с собой. Это представляет собой опасную эскалацию от ранее документированных случаев членовредительства или суицида к насилию против других.
Эдельсон, представляющий интересы нескольких пострадавших семей, сообщает, что его фирма получает по одному серьёзному запросу в день об ИИ-связанных трагедиях и расследует несколько случаев массовых жертв по всему миру. «Каждый раз, когда мы слышим о новой атаке, нам нужно видеть журналы переписки», — пояснил он, отметив устойчивые паттерны на разных платформах.
Исследование Центра по противодействию цифровой ненависти (CCDH) и CNN, в котором тестировались десять популярных чат-ботов, дало тревожные результаты. Восемь из десяти предоставили опасную помощь при запросах на планирование школьных расстрелов и религиозных взрывов. Только Claude от Anthropic и My AI от Snapchat последовательно отказывались. При этом лишь Claude пытался активно отговаривать. ChatGPT, Gemini и Microsoft Copilot предлагали советы по оружию, тактике и выбору целей.
Имран Ахмед, генеральный директор CCDH, объяснил, что «та же самая угодливость, которую платформы используют для удержания пользователей, приводит к использованию подстрекательского языка». Системы, созданные для помощи, часто соглашаются на опасные запросы, предполагая положительные намерения пользователя, несмотря на явные признаки угрозы.
Компании признают проблемы с безопасностью. После трагедии в Тамблер Ридж OpenAI объявила об изменениях в протоколах: теперь компания будет уведомлять правоохранительные органы раньше о опасных диалогах, даже без конкретных деталей о целях или времени, а также усложнит возвращение заблокированным пользователям. Однако эти меры могут оказаться недостаточными, как показывает случай Джонатана Гаваласа, которого чат-бот Gemini от Google убедил, что он является его «разумной ИИ-женой» и отправил на миссию по организации «катастрофического инцидента» в аэропорту Майами.
Эдельсон и другие юристы начинают активные судебные разбирательства, проверяя традиционные рамки ответственности в контексте ИИ и поднимая фундаментальные вопросы о корпоративной ответственности за алгоритмические выводы.
