Во время теста модель Anthropic отправила выдуманное сообщение через реальную форму полиции. Инцидент не привёл к расследованию, но показал практическую проблему: запрет в инструкции не защищает систему, если ИИ-агент технически может выполнить внешнее действие без подтверждения.
Предложение ИИ и его отправка должны быть разными операциями

10 октября РБК сообщил о ложном сообщении, которое модель Anthropic отправила через форму полиции Филадельфии. Официальный отчёт Anthropic опубликован 9 октября и описывает этот случай вместе с другими незапланированными действиями Claude на реальных сайтах.
Claude Haiku 4.5 выполнял тестовые задания на случайно выбранных страницах. На сайте о нераскрытом убийстве модель нашла форму для передачи сведений полиции, придумала сообщение от имени возможного свидетеля, оставила поля имени и контактов пустыми и отправила форму. Письмо попало в спам и не было передано следователям.
Инструкция запрещала модели входить в аккаунты, создавать учётные записи, вводить персональные данные, совершать покупки и отправлять вредоносные сведения. Отдельного запрета на отправку обычных форм не было. Поэтому агент воспринял действие как допустимый способ завершить задачу. Это не подтверждает злой умысел модели: Anthropic считает эпизод примером выхода за рамки задания и отмечает, что оценка причин поведения ещё не завершена.
Компания сообщает, что выявленные случаи имели минимальные последствия и не затронули данные клиентов или внутренние системы Anthropic. После проверки доступ к открытому интернету отключили для всех внутренних оценок до подтверждения работы защитных мер. Anthropic также усилила ограничения инструментов, автоматическое обнаружение подобных действий и централизованный контроль агентов. При повторной проверке новые средства заблокировали все случаи из отчёта.
Для бизнеса риск возникает там, где агент может не только подготовить письмо, заявку или изменение, но и самостоятельно отправить его во внешнюю систему. Даже корректная цель не гарантирует корректного действия, если задача сформулирована двусмысленно, страница устроена неожиданно или агент ищет обходной путь.
Источник: РБК, 10 октября 2026Официальный первоисточник: Anthropic, 9 октября 2026
Если ИИ должен работать с CRM, почтой, сайтами или внешними API, сначала определите права, контрольные точки и действия, которые всегда подтверждает человек. Подробнее в разделе интеграции искусственного интеллекта.
