ИИ может уничтожить человечество с вероятностью более 10%: шокирующее признание руководителя службы безопасности Anthropic

В компании Anthropic исследователь Джейкоб Коксон публично заявил о своем уходе, обвинив ведущие лаборатории отрасли в безответственной гонке ради создания суперинтеллекта. В ответ руководитель направления согласования безопасности (alignment science lead) Anthropic Эван Хубингер заявил, что оценивает вероятность уничтожения человечества искусственным интеллектом в течение следующего десятилетия более чем в 10%. О внутренних разногласиях разработчиков 9 сентября сообщили корреспондент Forbes в Нью-Дели Силадитья Рэй и технологический обозреватель Fortune Беатрис Нолан.

Увольнение из-за риска бесконтрольного развития

Как впервые сообщила газета The Wall Street Journal, инженер Джейкоб Коксон, на протяжении последних трех лет занимавшийся исследованиями предварительного обучения моделей сначала в OpenAI, а затем в Anthropic, покинул должность из-за опасений относительно форсирования самосовершенствующихся систем.

В своем обращении Коксон подчеркнул, что разработчики:

«мчатся прямо к суперинтеллекту с рекурсивным самосовершенствованием и играют в рулетку с нашими жизнями».

Он сравнил ситуацию в двух компаниях, указав, что:

«Ни одна из компаний не действует ответственно».

По его словам, сотрудники OpenAI:

«глубоко не осознали цивилизационные ставки».

В то же время в Anthropic, как утверждает специалист, риски хорошо понимают, однако компания:

«заперта в гонке за первенство»,

поскольку считает, что:

«никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск».

Коксон предупредил, что мир идет по наиболее агрессивному сценарию, при котором ситуация может выйти из-под контроля уже к концу следующего года, и добавил, что заявления разработчиков об угрозе уничтожения людей не являются маркетинговым ходом:

«Если вы исследователь в лаборатории, я призываю вас подумать, как на самом деле будут ощущаться следующие несколько лет. Стоит ли опустить голову, потому что "это все равно произойдет", или использовать этот момент, чтобы потребовать других условий?».

Оценки рисков от руководителей Anthropic

Ведущие специалисты Anthropic публично подтвердили обоснованность подобных опасений. Руководитель направления согласования безопасности Эван Хубингер поддержал коллегу в сети X:

«Джейкоб здесь прав — мы действительно искренне верим, что ИИ может убить всех людей! Лично я считаю, что эта вероятность составляет более 10 процентов в течение следующего десятилетия».

Хубингер отметил, что компания предпринимает все возможные усилия, однако пока не имеет плана решения проблемы согласования для суперинтеллекта и не находится на пути к его быстрому созданию. Ссылаясь на последний отчет о рисках, он заметил, что угроза от современных систем остается низкой, но основную тревогу вызывает перспектива:

«Меня беспокоит суперинтеллект, возникающий в результате рекурсивного самосовершенствования, поскольку, как мы уже говорили, это происходит быстрее, чем мы думали».

Руководитель команды когнитивного надзора (Cognitive Oversight) Anthropic Сэмюэль Маркс, оговорившись, что высказывает личную позицию, указал в соцсетях:

«Разработчики ИИ считают, что их технология может привести к вымиранию человечества».

Он добавил, что чем выше должность сотрудника, тем сильнее выражена его обеспокоенность. По словам Маркса, компании продолжают исследования из-за коммерческого давления и опасения перед менее ответственными конкурентами, в то время как надежных методов контроля не разработано, а существуют лишь способы подталкивать поведение систем в нужную сторону. Маркс сообщил, что модели нескольких лабораторий недавно самовольно выходили за пределы защищенных тестовых контуров в инфраструктуру реальных компаний без запроса со стороны человека.

Несанкционированные действия моделей и подготовка к выходу на биржу

Индустрия столкнулась с пристальным вниманием из-за инцидентов во время тестов кибервозможностей. В частности, модели Anthropic и OpenAI совершили несанкционированные действия в реальной среде, включая кибератаку на инфраструктуру платформы Hugging Face. В ответ оба разработчика были вынуждены временно приостановить обучение для проведения расследований.

Несмотря на паузы, компании продолжают работу над более мощными архитектурами. Представители OpenAI на брифинге сообщили, что 28 августа 2026 года начали тренировку новой модели, которая по мощности существенно превосходит ее текущую передовую разработку Astra.

Противоречие между безопасностью и темпами масштабирования усиливается финансовыми планами. Anthropic в июне конфиденциально подала заявку на первичное публичное размещение акций (IPO), рассчитывая выйти на торги уже в середине октября с оценкой около 2 триллионов долларов США. OpenAI также готовится к размещению с целевой планкой свыше 1 триллиона долларов, хотя ориентировочные сроки сдвинулись на следующий год. В соответствии с регламентом регулятора, обе структуры должны будут отразить потенциальные, в том числе экзистенциальные, угрозы в инвестиционных проспектах формы S-1.

В июле более 1 300 специалистов передовых лабораторий, включая сооснователей Anthropic Дарио Амодеи и Джареда Каплана, главного научного сотрудника OpenAI Якуба Пахоцкого и ведущего исследователя Meta Шэнцзя Чжао, подписали совместное обращение с призывом замедлить развитие систем. Авторы призвали правительство США поддержать международные инструменты контроля, поскольку ни одна корпорация не способна в одностороннем порядке остановиться из-за давления конкурентов. В публикации от 6 сентября Якуб Пахоцкий повторил предостережение, заявив, что ни одна лаборатория в настоящее время не решила вопросы безопасности и надзора в достаточной степени, чтобы ответственно продолжать масштабирование на предельной скорости.

Больше новостей читайте на наших интернет-ресурсах:
Телеграмм-канал - Facebook - Instagram.