Компания Anthropic, разработчик чат-бота Claude, признала, что ее искусственный интеллект использовался учеными для деликатных биологических исследований, которые, по опасениям компании, могли найти применение в разработке оружия. Отчет опубликован в четверг, 10 сентября. Речь идет о работе по усилению функций вирусов и экспериментах с патогенами, обладающими пандемическим потенциалом.
Anthropic заявила, что не может определить истинные намерения исследователей, поскольку одна и та же научная работа может иметь как законное медицинское применение, так и опасные последствия. Компания заблокировала связанные учетные записи и ограничила доступ в тех случаях, когда выявила нарушения своих мер безопасности и политики.
Вирус чикунгунья и военный институт
Один из случаев, описанных в отчете, касается вируса чикунгунья, передаваемого комарами и способного вызывать сильную боль и лихорадку. Ученый обратился к Claude за помощью в подготовке заявки на грант для проведения исследований по усилению функций вируса. Предлагаемая работа была направлена на выявление мутаций, влияющих на трансмиссивность и уклонение от иммунного ответа, а затем на внедрение этих изменений в вирус.
Компания заявила, что результаты исследования могли найти законное применение, в том числе в разработке вакцин и терапевтических средств. Однако этот случай вызвал особую обеспокоенность, поскольку работы предполагалось проводить в военно-исследовательском институте в неизвестной стране. Anthropic не раскрыла названия учреждений, стран и конкретных биологических агентов, чтобы не подвергать ученых опасности.
ИИ как инструмент двойного назначения
Руководитель отдела анализа угроз Anthropic Джейкоб Кляйн отметил в беседе с The New York Times, что ситуация не является типичным сюжетом из комиксов, где кто-то прямо заявляет о желании создать биологическое оружие для уничтожения мира. По его словам, это невероятно сложная ситуация, поскольку грань между законными исследованиями и опасными применениями размыта.
Anthropic также описала случай, когда Claude использовался для исследований птичьего гриппа и его усиленного пандемического потенциала. Ученый, работающий за пределами США, просил ИИ проанализировать данные и помочь в написании научных результатов. В этом случае использовались модели Claude Sonnet 4 и Haiku 4.5, которые компания считает менее защищенными, чем более мощные модели.
По данным Anthropic, существующие меры безопасности на фронтирных моделях оказались достаточно надежными, чтобы вынудить исследователей использовать более слабые и менее защищенные версии. В компании отметили, что более мощные модели Claude Mythos и Fable имеют усиленные механизмы защиты и реже подвергаются злоупотреблениям.
Предупреждение изнутри компании
Отчет Anthropic появился всего через день после того, как бывший исследователь компании Джейкоб Коксон выступил с публичным предупреждением. 27-летний специалист, проработавший три года в OpenAI и Anthropic, заявил в интервью NBC News, что существует значительная вероятность того, что технология может убить всех людей, и подчеркнул, что это не преувеличение и не маркетинговый трюк.
Коксон уволился из Anthropic, опубликовав в социальной сети X пост, в котором обвинил обе компании в безответственности. По его словам, они мчатся к самосовершенствующемуся сверхинтеллекту и играют с жизнями людей. Он призвал коллег высказываться и предложил временный запрет на улучшение возможностей моделей ИИ, чтобы выиграть время для международной координации и контроля безопасности.
Руководитель направления Alignment Science в Anthropic Эван Хубингер поддержал предупреждения Коксона. Он признал, что оценивает вероятность катастрофы в течение десятилетия более чем в 10 процентов, и добавил, что у компании нет решения для согласования сверхразума.
Что это значит
Отчет Anthropic - первый публичный случай, когда компания в сфере ИИ признает реальные примеры потенциального злоупотребления своими моделями для разработки биологического оружия. В документе на 154 страницах компания также описывает другие категории угроз, включая разработку обычных вооружений и кибероперации с использованием ИИ.
Для России эти откровения имеют значение в контексте глобальных дискуссий о регулировании ИИ. Они показывают, что даже компании, декларирующие приверженность безопасности, сталкиваются с использованием их технологий в опасных целях. Вопрос о том, как контролировать двойное назначение ИИ-моделей, остается открытым и требует международного подхода.
