Искусственный интеллект нуждается в паузе, но кто имеет право нажать на кнопку?

Автор: Сяо Бай

Эта статья является оригинальным вкладом автора, мнения отражают только личное понимание автора, ETHPanda редактирует и организует содержание.

Дискуссии вокруг ИИ часто упрощаются до двух лагерей: одни выступают за ускорение, другие — за немедленную паузу.

Виталик, отвечая на "AI 2040: Plan A", отметил, что настоящая разница в этой дискуссии заключается не в выборе политики, а в том, что у людей совершенно разные базовые суждения о будущем.

Одно суждение считает, что ИИ по-прежнему является "обычной технологией". Он изменит занятость, отрасли и социальную структуру, но в конечном итоге все равно будет подвержен ограничениям со стороны рынка, законодательства, энергетики, капитала и организационных возможностей.

Другое суждение предполагает, что как только ИИ начнет активно участвовать в разработке ИИ, рост возможностей может войти в быстрый цикл. В это время человечество столкнется не только с заменой рабочих мест, но и с возможной утратой фактического контроля в научных исследованиях, экономике, военном деле и институциональной сфере.

Если первое суждение верно, создание глобальной системы отслеживания чипов, одобрения вычислительной мощности и мониторинга центров данных, очевидно, может быть серьезной чрезмерной реакцией.

Но если второе суждение верно, продолжение поддержания статус-кво и вера в то, что рынок в конечном итоге решит все, также является высокорисковым азартом.

Таким образом, на самом деле, управление ИИ должно ответить не только на вопрос "нужно ли приостановить", но и на:

Как сохранить возможность замедления, не передавая постоянную власть в руки немногих, когда будущее неясно?

Суть "AI 2040" не только в "замедлении"

"AI 2040" предлагает относительно идеализированный маршрут перехода к суперразуму.

Он предполагает, что основные страны и компании ИИ через международную координацию замедляют темпы развития передового ИИ, повышают прозрачность исследований, позволяя большему количеству участников догнать уровень передовой технологии, а затем продолжить продвижение после решения вопросов безопасности и управления.

Я считаю, что главная проблема этого плана не в цели, а в его реализации.

Пока одна сторона тайно обучает более мощные модели, другие участники будут беспокоиться о том, что их обгонят, и соглашение быстро утратит силу. Поэтому, чтобы замедление было правдоподобным, необходимо отслеживать высококачественные чипы, контролировать крупные центры данных, определять, используется ли вычислительная мощность для обучения или для других целей.

Это означает, что для предотвращения формирования нового центра власти суперразума человечество может сначала потребовать создать глобальный центр контроля вычислительной мощности.

Это как раз и есть самая сложная противоречие в плане приостановки ИИ:

Механизмы предотвращения утраты контроля над технологиями сами могут стать инструментом утраты контроля над властью.

"Риски ИИ велики" не могут автоматически доказать, что какое-либо правительство, международная организация или крупная лаборатория должны получить неограниченную власть.

Аналогично, "регулирование может быть злоупотреблено" не может обратно доказать, что риски ИИ не существуют.

На самом деле необходимо проверить структуру системы:

Кто определяет опасность, кто контролирует данные, кто имеет право вводить ограничения, кто может получить исключения, кто контролирует исполнителей и может ли эта власть быть отозвана после ошибки.

Если на эти вопросы нет ответов, "безопасность ИИ" легко может превратиться в бессрочную технологическую лицензию.

Между кнопкой паузы и троном — только одно исключение

"Приостановить ИИ" звучит как простое действие, на самом деле оно может представлять собой две совершенно разные системы.

Первый тип — выборочная пауза.

Власть может решить, кто имеет право обучать модели, а кто должен остановиться; кто считается надежным учреждением, а кто рассматривается как опасный участник. Другие ограничены, в то время как власть может сохранить модели, чипы и вычислительную мощность.

Этот механизм не завершает соревнование, а лишь заранее определяет победителя.

Это не кнопка паузы, а скорее трон.

Второй тип — симметричная пауза.

Когда активируются условия открытого риска, все основные участники ограничены, включая сторону, ответственную за выполнение паузы. Нет секретных исключений, и нельзя одновременно требовать от конкурентов остановиться и продолжать свои эксперименты.

Этот механизм ближе к настоящему размыкателю.

Виталик четко подтвердил, что План A вводит "взаимное уничтожение вычислительной мощности". По сравнению с тем, чтобы позволить немногим участникам выбирать, кого ограничить, одновременно освобождая себя, этот механизм по крайней мере более симметричен.

Но симметрия также не может автоматически решить проблему.

Система, способная остановить глобальную передовую вычислительную мощность, сама по себе является мощным инструментом власти. Она может быть активирована ложной информацией, использована в политических конфликтах, манипулирована внутренними лицами и может привести к огромным потерям из-за технических сбоев.

Поэтому надежный механизм паузы должен как минимум удовлетворять нескольким условиям:

Условия активации должны быть открыты, доказательства не могут быть монополизированы одной организацией, ограничения должны быть максимально симметричными, пауза должна иметь четкий срок, а правила перезапуска также должны быть заранее прописаны.

Особенно нельзя разрабатывать только "как войти в чрезвычайное состояние", но не разрабатывать "как выйти из чрезвычайного состояния".

На практике, когда учреждения получают власть, они часто легче доказывают, что опасность все еще существует, чем активно возвращают власть.

Таким образом, механизм паузы ИИ сам нуждается в кнопке паузы.

Истинная концентрация власти не только от компаний и правительств

Сегодня, обсуждая власть ИИ, люди обычно беспокоятся о двух вещах.

Во-первых, о том, что немногие крупные компании монополизируют самые мощные модели.

Во-вторых, о том, что правительства контролируют чипы, данные и разработчиков под предлогом безопасности.

Но Виталик напомнил о третьем, более глубоком риске:

Суперразум сам по себе также может стать крупнейшим центром концентрации власти.

Сегодня человечество имеет возможность вести переговоры, потому что оно контролирует некоторые дефицитные ресурсы: труд, знания, организационные способности, капитал, политическую власть и силу. Разные группы должны вести переговоры друг с другом, потому что ни одна сторона не может полностью обойти других.

Если ИИ будет быстрее, дешевле и эффективнее человека в научных исследованиях, программировании, управлении, финансах, коммуникациях, кибератаках и даже военном планировании, эти дефицитные способности, которые изначально принадлежали человеку, быстро обесценятся.

В то время, даже если на рынке будет десять компаний ИИ, это не означает, что человечество все еще имеет окончательное право решать.

Конкуренция на рынке может ограничить прибыль одной компании, но не обязательно гарантирует, что обычные люди сохранят возможность вести переговоры.

Поэтому "позволить надежным людям контролировать самый мощный ИИ" не является полным ответом.

Это просто переписывает вопрос с "будет ли ИИ контролировать человечество" на "какая небольшая группа людей должна сначала получить право контролировать самый мощный ИИ".

d/acc — это основа, но не универсальный ответ

Долгосрочная инициатива Виталика d/acc может быть понята как приоритетное развитие защитных, децентрализованных технологий.

Например, более безопасное программное обеспечение, формальная верификация, криптография, открытое оборудование, киберзащита, биобезопасность и инструменты верификации информации.

Ценность этих направлений заключается в том, что они не зависят от точного графика появления суперразума.

Если ИИ в конечном итоге останется обычной технологией, более безопасное программное обеспечение, более надежное оборудование и более сильные общественные защитные способности все равно стоят того, чтобы их развивать.

Если ИИ быстро станет сильнее, эти технологии также могут повысить способность общества противостоять кибератакам, биорискам, аппаратным закладкам и манипуляциям с информацией.

Это стратегия с низким уровнем сожаления: когда будущее неясно, сначала создайте безопасную инфраструктуру, которая будет полезна в любом случае.

Но d/acc не является универсальным решением.

Если возможности ИИ действительно изменятся за очень короткое время, защитные технологии могут не успеть быть развернутыми. Более безопасные системы могут снизить риски, но не могут доказать, что все соревнования должны продолжаться.

Таким образом, d/acc больше подходит как долгосрочная основа, в то время как механизм паузы является страховкой в экстремальных случаях.

Основание должно постоянно развиваться, страховка не должна быть легко активирована, но также не должна разрабатываться только после того, как система уже вышла из-под контроля.

Более важным, чем предсказание даты, является предварительное согласование условий активации

Самое практическое предложение Виталика в этой длинной статье не заключается в немедленной приостановке ИИ, а в предварительном согласовании:

После появления каких доказательств все стороны должны изменить свои суждения.

Сегодня требовать от всех согласия с тем, что "суперразум появится в 2030 году" или "не появится в течение следующих двадцати лет", практически невозможно.

Но разные лагеря все же могут заранее согласовать некоторые сигналы риска.

Например:

Может ли ИИ уже самостоятельно выполнять длительные исследовательские задачи в течение нескольких недель;

Может ли он значительно ускорить разработку следующего поколения ИИ;

Имеет ли он возможность массово обнаруживать и использовать уязвимости в сети;

Начал ли он самостоятельно копировать, получать ресурсы или обходить контроль;

Подключен ли он к оружию, финансовым системам и критической инфраструктуре;

Причинил ли он уже длительный масштабный социальный ущерб.

Суть не в том, чтобы найти идеальный показатель, а в том, чтобы перевести дискуссию с "верите ли вы в суперразум" на "какие реальные доказательства заставят вас обновить свои суждения".

Сторонники того, что риски ИИ преувеличены, могут принять это, потому что они верят, что эти ситуации не произойдут.

Те, кто беспокоится о суперразуме, также могут принять это, потому что они считают, что эти сигналы могут появиться очень скоро.

Обе стороны не должны сначала объединять свои мировоззрения, им просто нужно заранее пообещать:

После изменения реальности политика также должна измениться.

Интервенция не должна ограничиваться только двумя режимами: продолжение и остановка

Действительное управление ИИ также не должно напрямую переключаться между "полным свободным развитием" и "глобальной остановкой".

Более разумный способ — это создание многоуровневого вмешательства.

При низком уровне риска увеличьте раскрытие возможностей, отчетность по инцидентам и тестирование третьими сторонами.

При дальнейшем увеличении риска ограничьте доступ моделей к критической инфраструктуре, ограничьте автономное выполнение, перемещение средств, контроль оружия и другие высокорисковые полномочия.

Если ИИ уже явно автоматизировал разработку ИИ или одновременно появляются несколько серьезных сигналов, ограничьте новое передовое обучение и расширение вычислительной мощности.

Только когда меры низкой интенсивности не могут контролировать риски, следует переходить к более широким и краткосрочным паузам.

Этот многоуровневый дизайн не предназначен для ослабления регулирования, а для того, чтобы соответствовать интенсивности политики и доказательств.

Действительно опасные системы часто не лишены возможности принимать жесткие меры, а могут пропустить все промежуточные шаги и сразу получить неограниченную власть под предлогом "чрезвычайного состояния".

Заключение

Действительная сложность управления ИИ заключается не в отсутствии позиций, а в отсутствии системы, способной учитывать ошибки суждений.

Продолжение соревнования не является нейтральным выбором.

Глобальная пауза также не является нейтральным выбором.

Открытые модели не являются автоматически безопасными, закрытые модели также не являются автоматически ответственными.

Достоверный механизм управления должен как минимум ответить на четыре вопроса:

На каких доказательствах он основывается?

Ограничивает ли он также тех, кто у власти?

Может ли он быть проверен извне?

После ошибки суждения, может ли власть быть отозвана?

В эпоху ИИ, возможно, действительно нужна кнопка паузы.

Но настоящая проблема кнопки паузы никогда не заключалась в том, можно ли ее создать.

А в том:

Кто имеет право нажать на нее, кто имеет право перезапустить, и как гарантировать, что никто не сможет превратить эту кнопку в свой трон.