Бывший исследователь Anthropic Джейкоб Коксон ушел из компании и публично заявил, что бесконтрольная корпоративная гонка за разработкой искусственного интеллекта представляет беспрецедентную опасность для человечества. В своем посте на X (бывший Twitter) 27-летний специалист по предварительному обучению моделей ИИ написал, что ни один вид человеческой деятельности не представляет большей угрозы для цивилизации, чем создание «самосовершенствующегося сверхинтеллекта».
Коксон, проработавший три года в OpenAI и Anthropic, обвинил обе компании в безответственности. «Они мчатся к самосовершенствованию сверхинтеллекта и играют с нашими жизнями», - написал он. Исследователь призвал коллег высказываться и предложил временный запрет на улучшение возможностей моделей ИИ, чтобы выиграть время для международной координации и контроля безопасности.
«ИИ может убить всех людей» - признание инсайдера
Резкую отставку Коксона поддержал его коллега, руководитель направления Alignment Science в Anthropic Эван Хубингер. В своем посте он публично признал, что они серьезно опасаются, что ИИ может уничтожить все человечество. Хубингер оценил вероятность такого сценария в ближайшее десятилетие более чем в 10 процентов. Он также признал, что у Anthropic нет готового плана по решению проблемы согласованности действий для сверхинтеллекта и компания не движется в этом направлении.
Коксон отметил, что сотрудники OpenAI часто не осознают цивилизационные риски, в то время как работники Anthropic ясно понимают опасность. Однако даже осознавая угрозу, Anthropic остается в ловушке конкурентной гонки за первенство в создании сверхинтеллекта. По данным Gizmodo, генеральный директор Anthropic Дарио Амодей разделяет схожие опасения, но продолжает гонку.
Парадокс руководителей ИИ-компаний
Ситуация демонстрирует поразительное противоречие: главы ведущих компаний в области ИИ испытывают глубокий страх перед технологией, которую сами спешат создать. Дарио Амодей, которого СМИ называют пессимистом в индустрии за его длинные посты о рисках, тем не менее продолжает масштабировать разработки.
На фоне этого кризиса ведущие деятели отрасли из Anthropic, OpenAI и Meta* выступили с совместным заявлением «Прокладывая путь». Они признали, что сильное конкурентное давление делает односторонние паузы невозможными, и призвали к поддержке правительства США и международному управлению. Главный научный сотрудник OpenAI Якуб Пачоцкий предупредил, что ни одна лаборатория не обладает необходимыми средствами обеспечения безопасности для дальнейшего масштабирования ИИ на максимальной скорости.
Российский контекст
Для России происходящее имеет важное значение. Российские компании и государственные структуры активно развивают ИИ в рамках национальной стратегии до 2030 года. Однако, как показывает случай Anthropic, даже признанные мировые лидеры не имеют решений для контроля над сверхинтеллектом. Это ставит под вопрос безопасность любых масштабных внедрений ИИ, включая российские. Возможно, отечественным разработчикам стоит учесть опыт западных коллег и уделить больше внимания вопросам безопасности на ранних этапах.
На момент публикации Anthropic не предоставила официального комментария по поводу заявлений Коксона.
