Американская компания Anthropic заблокировала пользователей, которые пытались применить её модели Claude для исследований, связанных с биологическим оружием. Об этом говорится в отчёте по анализу угроз, опубликованном компанией 10 сентября: из описанных в документе эпизодов пять касались потенциального создания биологического оружия.
В одном из случаев пользователь просил помочь составить заявку на грант для исследования, в котором вирус чикунгунья предлагалось генетически изменить, чтобы повлиять на его заразность и способность уходить от иммунного ответа. В компании признали, что такие работы могут вестись и в законных целях — при разработке вакцин и лекарств, — но указали на риск использования результатов для создания оружия. Ещё один эпизод в Anthropic описали как крупную скрытую операцию: её участники изучали возможности моделей и пытались воспроизвести их без разрешения.
Документ охватывает период с декабря 2025 года по август 2026-го и разделён на семь направлений: кибероперации, слежка, информационные операции, обычные вооружения, биологические злоупотребления, мошенничество и незаконное копирование моделей. По данным компании, среди прочего была вскрыта операция промышленного шпионажа, в ходе которой похитили комплект разработки для системы машинного зрения беспилотника.
Аккаунты нарушителей заблокировали, под такие запросы написали отдельные классификаторы, а собранные данные передали властям и партнёрам по отрасли. В Anthropic заявили, что обязаны раскрывать случаи злоупотреблений своим сервисом, и призвали правительства и других разработчиков искусственного интеллекта выявлять подобные попытки.
Anthropic — разработчик чат-бота Claude, одного из главных конкурентов ChatGPT на рынке больших языковых моделей; отчёты об угрозах компания публикует регулярно. В нынешнем документе она отмечает, что искусственный интеллект сократил разрыв в ресурсах и инструментах между организованными группами и одиночками: сложные атаки становятся возможны без сложных исполнителей.
