Искусственный интеллект и вымирание человечества: опасность в 2 триллиона долларов?

Наука без совести — лишь разорение души. Рабле не ошибся, сказав это за пять веков до появления искусственного интеллекта. Сэм Альтман, Джеффри Хинтон, Барак Обама, ООН и даже Виталик Бутерин все на бумаге выражают обеспокоенность одной и той же опасностью. Опасностью искусственного интеллекта, который может выйти из-под контроля. Однако, как только мы начинаем углубляться, оказывается, что никто не говорит об одном и том же. Один боится вымирания человеческого вида. Другой — исчезновения миллионов рабочих мест, концентрации власти в руках трех американских компаний. Или просто того, что его китайский сосед слишком сильно опередит. Одно и то же слово, тревога, охватывает три логики, которые почти не имеют ничего общего, кроме заимствованной лексики.
Ключевые моменты этой статьи:

• Несколько влиятельных фигур, включая Сэма Альтмана и Джеффри Хинтона, выразили свою обеспокоенность возможностью того, что искусственный интеллект выйдет из-под контроля человека.
• Постоянные дебаты ведутся между теми, кто боится вымирания человеческого вида из-за ИИ, и теми, кто беспокоится о немедленных последствиях для занятости и алгоритмических предвзятостей.

Вымирание или уничтоженные рабочие места: искусственный интеллект не пугает по одним и тем же причинам

В марте 2023 года Центр безопасности ИИ, калифорнийский исследовательский институт, собрал более 350 руководителей и исследователей для подписания единственной фразы. Она поднимает борьбу с риском вымирания, связанным с ИИ, до уровня глобального приоритета. На одном уровне с пандемиями или ядерной войной.

Среди подписантов Сэм Альтман, Деми Хасабис и Дарио Амодеи. Эти трое руководят самыми передовыми лабораториями в этой области, а именно OpenAI, Google DeepMind и Anthropic. Джеффри Хинтон и Иошуа Бенгио, которые заложили основы глубокого обучения двадцать лет назад, также подписали.

Два с половиной года спустя. В октябре 2025 года Институт будущего жизни поднимает вопрос еще дальше с его Заявлением о суперразуме. И снова, более 800 подписей, включая подписи Стива Возняка, Ричарда Брэнсона и принца Гарри. Они требуют запрета на разработку суперразума, пока научный консенсус и общественное согласие не гарантируют его безопасность. Бенгио снова в числе подписантов.

Рядом с этими двумя текстами другая группа исследователей работает уже много лет в совершенно другой области. В области алгоритмических предвзятостей в найме или предсказательной юстиции. Это также касается нестабильности целых профессий и небольшой группы американских компаний, которые концентрируют мировую вычислительную мощь. Для этого лагеря, часто объединенного под ярлыком этики ИИ, разговоры о человеческом вымирании отвлекают внимание от уже измеримых ущербов, которые затрагивают конкретных работников сегодня, а не абстрактное человечество через пятьдесят лет. Оба лагеря используют слово риск, но говорят о разных рисках.

Альтман и Маск: пироманьяк-пожарный

Вернемся к нашим добрым душам-подписантам. Сэм Альтман подписывает текст Центра безопасности ИИ в мае 2023 года. В том же году OpenAI привлекает 10 миллиардов долларов от Microsoft и начинает гонку за создание самой мощной модели на рынке.

В 2026 году компания подает заявку на выход на биржу, не снижая темпов гонки за вычислительной мощью. Однако, как раз когда мы пишем эту статью, она объявляет о том, что отказывается от этого в этом году. Предупреждение о вымирании вида и гонка за следующими инвестициями создают эту неоднозначность.

Элон Маск не отстает. В марте 2023 года он также подписывает письмо Института будущего жизни. В нем требуется приостановить на шесть месяцев обучение самых мощных моделей. Четыре месяца спустя появляется xAI. Grok, его модель, сегодня работает на одном из крупнейших вычислительных кластеров, когда-либо собранных. Никто никогда не применял эту паузу.

В Anthropic Дарио Амодеи регулярно публикует тексты, в которых подробно описывает, с цифрами на руках, сценарии, в которых пограничная модель может выйти из-под контроля своих создателей. В то же время Anthropic нацеливается на рекордную оценку для своего выхода на биржу. И компания выиграла широко обсуждаемую борьбу с Пентагоном по поводу военного использования своих собственных моделей.

Мы почти можем увидеть в этом ремейк Манхэттенского проекта. Физики, которые построили бомбу, также были первыми. Как только Хиросима и Нагасаки были стерты с карты, они требуют международного контроля над оружием, которое они только что доставили. Сравнение имеет свои пределы. Оппенгеймер никогда не вел переговоры о доле роялти на плутоний. Три руководителя ИИ предупреждают, одновременно каждый квартал, орудие по привлечению капитала.

Мы должны продвигать границы: я написал новое эссе о том, почему индустрия ИИ должна замедлиться, с трехчастным планом для этого.

Anthropic односторонне берет на себя обязательство выполнить первый из этих шагов. Мы предоставим сторонним оценщикам постоянный доступ на уровне сотрудников к нашим...
--- Дарио Амодеи (@DarioAmodei) 12 сентября 2026 года
<< Мы должны продвигать границы: я написал новое эссе, объясняющее, почему индустрия ИИ должна замедлиться, и предлагающее план из трех пунктов для этого. Anthropic односторонне берет на себя обязательство реализовать первый из этих шагов. Мы предоставим сторонним оценщикам постоянный доступ, эквивалентный доступу наших сотрудников, к нашим системам. Они смогут проверять соблюдение наших мер безопасности, сообщать о происшествиях и оценивать согласованность моделей во время их обучения. >>

Дарио Амодеи

Обама, Трамп, Пекин: гонка за искусственным интеллектом, замаскированная под рамки безопасности

Перед этой бесконечной гонкой вмешивается политика. Барак Обама призывает американских демократов разработать четкий план по ИИ. Он также призывает, согласно New York Times, к определенной осторожности в отношении скорости развертывания моделей. Это заявление появляется в то время, когда администрация Трампа движется в совершенно противоположном направлении. Президентский указ направлен на предотвращение того, чтобы каждый штат США принимал свои собственные законы по ИИ, во имя единой федеральной рамки, более разрешительной. Предыдущий указ Трампа уже обещал сочетать безопасность и инновации. На практике стрелка явно наклоняется в сторону второго варианта.

С китайской стороны официальный дискурс использует тот же словарь, что и Обама или Институт будущего жизни. На мировом саммите по ИИ в Шанхае в 2026 году Пекин подписывает декларацию в поддержку координированного глобального управления сектором. В то же время китайская компания обвиняется в том, что она ограбила модели Anthropic, чтобы сократить отставание, что вызвало ответ Вашингтона. Декларируемое сотрудничество и реальная технологическая гонка движутся по двум путям, которые никогда не пересекаются.

Европейский Союз выбрал противоположный путь, принуждая законом с Законом о ИИ, который вступает в силу поэтапно с 2024 года. Брюссель регулирует рынок, на котором у него нет ни моделей, ни самых мощных центров обработки данных. Вашингтон и Пекин финансируют ИИ. Европа его комментирует.

Зеркало, мое красивое зеркало, кто самый красивый ИИ?

В июле 2026 года Федеральная комиссия по связи (FCC) разрешила Reflect Orbital. Эта американская стартап-компания будет тестировать гигантское зеркало на низкой орбите. Оно способно отражать солнечный свет на определенную точку Земли ночью. Заявленная цель — продавать солнечный свет по запросу фермерам или строительным площадкам, которые хотят продлить свои рабочие дни. Астрономы, биологи и несколько ассоциаций по защите ночного неба уже несколько месяцев бьют тревогу. Они опасаются светового загрязнения, которое может возникнуть в результате масштабного развертывания. Они также указывают на нарушение циклов сна дикой природы и на изображения обсерваторий, которые могут стать непригодными. CBC задокументировала юридические серые зоны этого дела. Ни один международный закон на самом деле не регулирует, кто имеет право изменять ночь соседней страны из космоса. Тем не менее, FCC все равно одобрила проект.

На первый взгляд это не имеет ничего общего с языковой моделью. Тем не менее, тот же механизм работает с обеих сторон. Научное сообщество бьет тревогу, документирует и оценивает риск. Частная организация, поддерживаемая регулятором, который имеет последнее слово, все равно движется вперед, потому что у нее есть техническая возможность и финансирование. Тревога никогда не была проблемой. Проблема в том, что никто, ни 800 подписантов Института будущего жизни, ни исследователи Центра безопасности ИИ, ни Барак Обама, не имеют власти остановить тех, кто решает нажать кнопку.

Reflect Orbital и ИИ: один и тот же механизм власти

Здесь сравнение с Reflect Orbital становится более полезным, чем любое сравнение с атомной бомбой. Зеркало на орбите и модель с несколькими сотнями миллиардов параметров на бумаге не имеют ничего общего. Тем не менее, они разделяют одну и ту же структуру принятия решений. Небольшая группа частных игроков, регулятор, который чаще разрешает, чем останавливает. Эта масса текстов тревоги накапливается, не оказывая влияния на график развертывания. FCC потребовалось несколько месяцев, чтобы принять решение по Reflect Orbital. Прошло три года, как те же тексты циркулируют по поводу ИИ, и ни одна лаборатория не замедлила свою дорожную карту.

ООН сама признала в отчете, опубликованном в этом году, что ИИ может вызвать катастрофические повреждения, если до конца десятилетия не появится никакого механизма контроля. Текст не имеет юридической силы. Ни одно государство не обязано его исполнять.

Reflect Orbital должна запустить свое первое тестовое зеркало до конца года. Лаборатории ИИ уже запланировали свои следующие модели на 2027 год. Тексты тревоги будут продолжать накапливаться на столах людей, которые никогда не имели власти их исполнять.