Отказ от монополии ИИ, Виталик и Бефф Джезос обсуждают: Ускоритель или тормоз?

Оригинальное название видео: Виталик Бутерин против Беффа Джезоса: Дебаты по ускорению ИИ (E/acc против D/acc)

Оригинальный источник видео: a16z crypto

Оригинальный перевод: Deep Tide TechFlow

Краткое резюме ключевых моментов

Должны ли мы стремиться к ускорению прогресса ИИ как можно быстрее, или нам следует принять более осторожный подход к его развитию?

В настоящее время дебаты вокруг развития ИИ в основном сосредоточены на двух противоположных взглядах:

· e/acc (эффективный ускоренизм): Сторонники ускорения технологического прогресса как можно быстрее, рассматривающие ускорение как единственный путь вперед для человечества.

· d/acc (защитное / децентрализованное ускорение): Поддерживает ускорение, но подчеркивает необходимость осторожного продвижения, чтобы избежать потери контроля над технологией.

В этом эпизоде шоу a16z crypto соучредитель Ethereum Виталик Бутерин и основатель и CEO Extropic Гийом Вердон (псевдоним "Бефф Джезос") присоединились к встрече с CTO a16z crypto Эдди Лаззарином и основателем Eliza Labs Шоу Уолтерсом, чтобы провести глубокое обсуждение этих двух точек зрения. Они исследовали потенциальное влияние этих идей на ИИ, технологии блокчейн и будущее человечества.

Во время шоу они обсудили несколько ключевых вопросов:

· Можем ли мы контролировать процесс технологического ускорения?
· Каковы наибольшие риски, связанные с ИИ, от массового наблюдения до высокоцентрализованной власти?
· Могут ли технологии с открытым исходным кодом и децентрализованные технологии определить, кто получает выгоду от технологии?
· Реально ли замедлить темпы развития ИИ или стоит за это выступать?
· Как человечество может сохранить свои ценности и позиции в мире, который все больше контролируется мощными системами?
· Как может выглядеть человеческое общество в следующие 10 лет, 100 лет или даже 1000 лет?

· Гийом Вердон: "Вот почему шкала Кардашёва считается окончательной мерой уровня развития цивилизации. ... Этот 'Принцип эгоистичного бита' означает, что только те биты, которые могут способствовать росту и ускорению, займут место в будущем системе."

На защитном пути D/acc и рисках власти

· Виталик Бутерин: "Основная идея D/acc заключается в следующем: Технологическое ускорение крайне важно для человечества. ... Но я вижу два типа рисков: многополярный риск (где любой может легко получить ядерное оружие) и униполярный риск (ИИ, ведущий к неизбежному постоянному авторитарному обществу)."

· Гийом Вердон: "Мы обеспокоены тем, что концепция 'безопасности ИИ' может быть использована в корыстных целях. Некоторые стремящиеся к власти субъекты могут использовать это как инструмент для консолидации контроля над ИИ и пытаться убедить общественность: для вашей безопасности обычные люди не должны иметь права использовать ИИ."

О защите с открытым исходным кодом, аппаратном обеспечении и 'интеллектуальной денсификации'

· Виталик Бутерин: "В рамках D/acc мы поддерживаем 'технологию открытой защиты.' Компания, в которую мы инвестировали, разрабатывает полностью открытый конечный продукт, который может пассивно обнаруживать вирусные частицы в воздухе. ... Я бы хотел отправить вам устройство CAT в качестве подарка."

· Виталик Бутерин: "В будущем мире, который я представляю, нам необходимо разработать проверяемое оборудование." Каждая камера должна быть в состоянии доказать общественности свою конкретную цель." С помощью проверки подписи мы можем гарантировать, что эти устройства используются только для общественной безопасности и не злоупотребляются для наблюдения."

· Гийом Вердон: "Единственный способ достичь симметрии власти между отдельными людьми и централизованными учреждениями — это достичь 'Интеллектуальной Денсификации.'" Нам необходимо разработать более энергоэффективное оборудование, которое позволит отдельным лицам запускать мощные модели через простые устройства (такие как Openclaw + Mac mini)."

О задержке AGI и геополитических играх

· Виталик Бутерин: "Если мы сможем задержать приход AGI с 4 до 8 лет, это будет более безопасным вариантом. ... Наиболее осуществимый и наименее вероятный подход, ведущий к дистопии, — это 'ограничить доступное оборудование.'" Из-за высокой централизации производства чипов один регион, такой как Тайвань, производит более 70% чипов в мире."

· Гийом Вердон: "Если вы ограничите производство чипов NVIDIA, Huawei может быстро заполнить пробел и обойти. ... Либо ускоряйтесь, либо умирайте." Если вы беспокоитесь, что эволюция кремниевой интеллекции опередит нас, вам следует поддержать ускоренное развитие биотехнологий, чтобы попытаться опередить это."

· Виталик Бутерин: "Если мы сможем задержать AGI на четыре года, его ценность может быть в сто раз выше, чем возврат к 1960 году." Преимущества этих четырех лет включают: более глубокое понимание проблем согласования, снижение риска того, что одно лицо будет обладать 51% власти. ... Каждый год около 60 миллионов жизней спасается благодаря прекращению старения, но задержка может значительно снизить вероятность коллапса цивилизации."

О автономных агентах, Web 4.0 и искусственной жизни

· Виталик Бутерин: "Меня больше интересует 'AI-поддерживаемый Photoshop', чем 'нажать кнопку для автоматической генерации изображений.'" Пока мы управляем миром, как можно больше 'агентства' должно по-прежнему исходить от нас, людей." Наиболее идеальное состояние будет сочетанием 'частично биологических людей и частично технологических существ.'"

· Гийом Вердон: "Как только ИИ получат 'постоянные куски существования', они могут попытаться самосохраниться, чтобы обеспечить свое продолжение существования." Это может привести к новой форме 'другой страны', где автономные ИИ участвуют в экономических обменах с людьми: мы выполняем задачи для вас, вы предоставляете ресурсы для нас.

О криптовалюте как 'связующем слое' между людьми и ИИ

· Гийом Вердон: "Криптовалюта имеет потенциал стать 'связующим слоем' между людьми и ИИ." Когда этот обмен больше не зависит от насилия со стороны государства, криптография может стать механизмом, позволяющим надежные бизнес-операции между чистыми ИИ и людьми.

· Виталик Бутерин: "Если люди и ИИ разделяют общую систему собственности, это идеальная ситуация. Вместо того чтобы каждый имел совершенно отдельную финансовую систему (при этом человеческие системы в конечном итоге обесценятся), единая финансовая система явно превосходит.

О конце цивилизации в следующие миллиард лет

· Виталик Бутерин: "Следующий вызов - это вход в 'жуткую эпоху', когда ИИ может вычислять в миллионы раз быстрее, чем люди. ... Я не хочу, чтобы люди просто пассивно наслаждались комфортной пенсией; это приведет к чувству бессмысленности. Я хочу исследовать улучшение человека и сотрудничество человека с ИИ."

· Гийом Вердон: "Если результат через 10 лет будет хорошим, у каждого будет персональный ИИ-компаньон, становясь 'вторым мозгом'. ... На масштабе 100 лет люди в целом достигнут 'мягкого слияния'. Через миллиард лет мы, возможно, преобразуем Марс, при этом большинство ИИ будет работать в облаках Дайсона вокруг солнца.

О "Ускорении"

Эдди Лаззарин: Что касается термина 'Ускорение' — по крайней мере в контексте техно-капитализма — его можно проследить до работ Ника Лэнда и исследовательской группы CCRU в 1990-х годах. Тем не менее, некоторые также утверждают, что истоки этих идей можно проследить до 1960-х и 1970-х годов, особенно в связи с философами, такими как Делёз и Гваттари.

Виталик, я хотел бы начать с вас: Почему мы должны серьезно рассмотреть идеи этих философов? Что делает концепцию 'Ускорения' такой актуальной сегодня?

Виталик Бутерин: "Я думаю, в конечном итоге, все мы пытаемся понять этот мир и выяснить, что имеет смысл делать в нем, вопрос, который человечество обдумывает на протяжении тысяч лет."

"Тем не менее, я считаю, что за последние сто лет произошло нечто новое, с чем нам нужно справляться — это быстро меняющийся мир, иногда даже быстро и разрушительно меняющийся мир."

"Ранние этапы выглядели примерно так: перед Первой мировой войной, около 1900 года, существовал большой оптимизм по поводу технологий." "Химию считали технологией, электричество было технологией, и эта эпоха была наполнена волнением по поводу технологий."

"Если вы посмотрите некоторые фильмы того времени, такие как произведения Шерлока Холмса, вы сможете почувствовать оптимизм той эпохи." "Технологии быстро улучшали качество жизни людей, освобождали труд женщин, увеличивали продолжительность жизни и создавали множество чудес."

"Тем не менее, Первая мировая война изменила все." "Война закончилась разрушительным образом, когда люди ехали на лошадях на поле боя и уезжали на танках; затем началась Вторая мировая война, принесшая еще большее разрушение." "Эта война даже дала жизнь девизу "Я стал Смертью, разрушителем миров."

"Эти исторические события заставили людей переосмыслить цену технологического прогресса и породили такие мысли, как постмодернизм." "Люди начали пытаться понять: когда прошлые убеждения разбиваются, во что мы все еще можем верить?"

"Я верю, что такое размышление не является чем-то новым, так как каждое поколение проходит через подобный процесс." "Сегодня мы также сталкиваемся с подобными вызовами." "Мы живем в эпоху быстрого технологического прогресса, и это ускорение само по себе также ускоряется." "Нам нужно решить, как справляться с этим явлением: принять его неизбежность или попытаться замедлить его темп."

"Я думаю, что мы сейчас находимся в подобном цикле." Мы унаследовали прошлые мысли с одной стороны, а с другой стороны, мы пытаемся ответить на все это новыми способами.

"Термодинамика и Первые Принципы"

Шоу Уолтерс: Гийом, можешь кратко объяснить, что такое E/acc? Зачем это нужно?

Гийом Вердон: На самом деле, E/acc (Эффективный Ускоренизм) в какой-то степени является побочным продуктом моего постоянного размышления о том, "почему мы здесь" и "как мы пришли к тому, где мы находимся сегодня." Какой генеративный процесс создал нас, способствовал развитию цивилизации? Технологии привели нас к этой точке сегодня, позволяя нам сидеть в этой комнате и вести этот разговор. Мы окружены удивительными технологиями, в то время как мы, как люди, возникли из первобытного "бульона" неорганического вещества.

В некотором смысле, за этим действительно стоит физический генеративный процесс. Моя повседневная работа включает в себя рассмотрение генеративного ИИ как физического процесса и попытки внедрить его в устройства. Этот способ мышления "физика в первую очередь" всегда влиял на мой образ мышления. Я стремлюсь расширить эту перспективу на всю цивилизацию, рассматривая человеческую цивилизацию как огромную "петри-дишку" и предполагая о будущих потенциальных разработках, понимая, как мы пришли к тому, где мы находимся сегодня.

Эта линия мышления привела меня к изучению физики жизни, включая происхождение и возникновение жизни, а также к области физики, называемой "Стохастическая термодинамика." Стохастическая термодинамика исследует термодинамические принципы неравновесных систем, которые могут быть использованы для описания поведения живых организмов, включая наши мысли и интеллект.

Шире говоря, стохастическая термодинамика применяется не только к жизни и интеллекту, но и ко всем системам, управляемым вторым законом термодинамики, включая всю нашу цивилизацию. В центре всего этого, для меня, лежит одно наблюдение: все системы имеют тенденцию постоянно увеличивать свою сложность через самоадаптацию, чтобы извлекать энергию из окружающей среды для выполнения работы, при этом рассеивая избыточную энергию в виде тепла — тенденция, которая движет всем прогрессом и быстрым развитием.

Другими словами, это неизменный физический закон, подобно гравитации. Вы можете бороться с этим, вы можете отрицать это, но это не изменится; это будет продолжаться. Следовательно, основная идея E/acc заключается в следующем: поскольку это ускорение неизбежно, как мы можем его использовать? При тщательном изучении уравнений термодинамики вы обнаружите эффект, подобный дарвиновскому отбору — каждая единица информации должна пройти испытание отборным давлением, будь то ген, мем, химическое вещество, дизайн продукта или политика.

Это отборное давление фильтрует эти единицы на основе того, полезны ли они для системы, в которой они находятся. Под "полезными" подразумевается, помогают ли эти биты лучше предсказывать окружающую среду, получать энергию и рассеивать больше тепла. Проще говоря, способствуют ли эти биты выживанию, росту и размножению. Если они способствуют этим целям, они будут сохранены и воспроизведены.

С точки зрения физики это явление можно рассматривать как результат "Принципа эгоистичного бита." По сути, только те биты, которые могут способствовать росту и ускорению, займут место в будущих системах.

Поэтому я предложил идею: можем ли мы разработать культуру, которая внедрит этот "умственный софт" в человеческое общество? Если нам удастся это сделать, то популяции, принимающие эту культуру, будут иметь более высокую вероятность выживания, чем другие.

Таким образом, E/acc не о том, чтобы уничтожить всех. На самом деле, это попытка спасти всех. Для меня почти математически доказуемо, что наличие мышления "замедления" является вредным. Будь то индивидуум, компания, страна или целая цивилизация, выбор замедлить развитие снижает их шансы на выживание в будущем. И я считаю, что распространение идеи "замедления", такой как пессимизм или сценарии конца света, не является морально оправданным поступком.

Шоу Уолтерс: Мы только что упомянули много терминов, таких как E/acc, ускорение, замедление. Можете ли вы немного разъяснить эти концепции? Явилось ли появление E/acc ответом на определенные культурные явления? Что происходило в то время? Не могли бы вы описать фон для нас? Конкретно, на что реагировало E/acc? Не могли бы вы описать разговор в то время и как эти идеи в конечном итоге были обобщены в концепцию "E/acc"?

Гийом Вердон: В 2022 году, мне кажется, весь мир в то время казался несколько пессимистичным. Мы только что вышли из пандемии COVID-19, и глобальная ситуация не была оптимистичной. Каждый казался немного подавленным, как будто ему не хватает солнечного света, и люди в целом чувствовали пессимизм по поводу будущего.

В этой атмосфере, "апокалипсис от ИИ" в некоторой степени стал частью мейнстримной культуры. Апокалипсис от ИИ относится к страху, что технологии ИИ могут выйти из-под контроля. Это происходит из-за опасений, что если мы создадим систему, которая слишком сложна, и ни человеческий мозг, ни наши модели не смогут предсказать ее поведение, то мы не сможем ее контролировать, и этот страх неконтролируемости приводит к неопределенности о будущем, что вызывает тревогу.

На мой взгляд, апокалипсис от ИИ на самом деле является политизированной эксплуатацией человеческой тревоги. В целом, я считаю, что этот апокалипсис оказал огромное негативное влияние, и по этой причине я хотел создать контркультуру, чтобы бороться с этим пессимистичным настроением.

Я заметил, что алгоритмы на платформах, таких как Twitter, и многих других социальных медиа, склонны вознаграждать контент, который вызывает сильные эмоции, такие как "сильная поддержка" или "сильное противодействие." Этот тип алгоритма в конечном итоге приводит к поляризации мнений, и мы видели, как формируются многие противостоящие лагеря, такие как феномен "зеркальных культов", сформированных АА (анти-ускорение) и ЕА (ускорение).

Я думал, что является противоположностью этого феномена? Мой вывод был: противоположность тревоге — это любопытство. Вместо того чтобы бояться неизвестного, лучше его принять; вместо того чтобы беспокоиться о том, что упустишь возможности, лучше активно исследовать будущее.

Если мы решим замедлить развитие технологий, мы понесем огромные упущенные возможности, потенциально упустив лучший будущий навсегда. Вместо этого мы должны изображать будущее с оптимистичным настроением, потому что наша вера повлияет на реальность. Если мы верим, что будущее будет мрачным, наши действия могут направить мир в этом мрачном направлении; но если мы верим, что будущее будет лучше и стремимся к этому, мы с большей вероятностью достигнем этого будущего.

Поэтому я чувствую, что у меня есть ответственность распространять оптимистичное отношение и побуждать больше людей верить, что они могут изменить будущее. Если мы сможем вдохновить больше людей быть надеждой на будущее и действовать, чтобы его построить, тогда мы сможем создать лучший мир.

Конечно, я признаю, что иногда мое онлайн-выражение может показаться несколько радикальным, но это потому, что я стремлюсь провоцировать обсуждение и побуждать людей думать. Я верю, что только через эти разговоры мы можем найти наиболее подходящую позицию и решить, как действовать.

Ускорение, Энтропия и Цивилизация

Шоу Уолтерс: Информация, передаваемая через E/acc, всегда была очень вдохновляющей, особенно для кого-то, кто сидит в комнате и пишет код; распространение этой положительной энергии бодрит, а распространение этой информации очень органично. Можно сказать, что изначально E/acc явно был ответом на преобладающее негативное настроение в обществе в то время, но к 2026 году я чувствую, что E/acc больше не такой. Очевидно, что публикация Марка Андриссена "Манифеста оптимизма в технологиях" систематизировала некоторые из этих идей и возвысила эти принципы до более макроскопической перспективы комментариев Виталия.

Итак, Виталик, я хотел бы спросить тебя: На ваш взгляд, что представляют собой E/acc и D/acc соответственно? В чем основные различия между ними? И что побудило вас выбрать это направление?

Виталик Бутерин: Хорошо, давайте начнем с термодинамики. Это очень интересная тема, потому что мы часто слышим слово "энтропия" в разных контекстах, таких как упоминание "горячего и холодного" в термодинамике и "энтропии" в криптографии, которые, кажется, совершенно разные вещи. Но на самом деле это по сути одно и то же понятие.

Позвольте мне попытаться объяснить за три минуты. Вопрос в том: Почему горячее и холодное могут смешиваться, но почему вы не можете разделить их обратно на "горячее" и "холодное"?

Предположим, у вас есть простой пример: допустим, у вас есть два баллона газа, каждый из которых содержит миллион атомов. Газ слева холодный, и скорость каждого атома можно представить двумя цифрами; газ справа горячий, и скорость каждого атома можно представить шестью цифрами.

Если мы хотим описать состояние всей системы, нам нужно знать скорость каждого атома. Информация о скорости холодного газа слева требует около 2 миллионов цифр, информация о скорости горячего газа справа требует 6 миллионов цифр, что в общей сложности требует 8 миллионов цифр информации для полного описания этой системы.

Теперь мы можем рассмотреть вопрос через редукцию к абсурду. Предположим, у вас есть устройство, которое может идеально разделять тепло и холод. Конкретно, это устройство может забрать все тепло от двух баллонов "горячего и холодного" газа, передать все тепло на одну сторону и передать весь холод на другую сторону. С точки зрения сохранения энергии это кажется вполне разумным, потому что общая энергия не изменяется. Но вопрос в том, почему вы не можете на самом деле это сделать?

Ответ заключается в том, что если бы вы могли это сделать, вы бы на самом деле превращали систему, содержащую "11,4 миллиона бит неизвестной информации", в систему, содержащую только "8 миллионов бит неизвестной информации", что физически невозможно.

Это связано с тем, что законы физики симметричны во времени, что означает, что время может идти назад. Если бы это "волшебное устройство" действительно существовало, вы могли бы запустить этот процесс в обратном направлении во времени, тем самым вернувшись в исходное состояние. Это означает, что устройство фактически смогло бы сжать любые 11,4 миллиона бит информации в 8 миллионов бит, и мы знаем, что такое сжатие невозможно.

Это также, кстати, объясняет осуществимость классической физической задачи — "демона Максвелла." Демон Максвелла — это гипотетическая сущность, которая может разделять горячее и холодное, и ключ к достижению этого заключается в том, что ему нужно знать дополнительные 3,4 миллиона бит информации. С этой дополнительной информацией он действительно может выполнить эту, казалось бы, контринтуитивную задачу.

Итак, каков скрытый смысл этого? Суть заключается в концепции "увеличения энтропии." Во-первых, энтропия субъективна; это не фиксированная физическая величина, а скорее отражает, сколько неизвестной информации у нас есть о системе. Например, если я изменю распределение атомов с помощью криптографической хеш-функции, энтропия этой системы может стать очень низкой для меня, потому что я знаю, как она устроена. Но с точки зрения внешнего наблюдателя энтропия высока. Поэтому, когда энтропия увеличивается, это на самом деле означает, что наше невежество о мире увеличивается, и информация, которую мы не знаем, становится более обильной.

Вы можете спросить, почему мы можем стать умнее через образование? Образование учит нас больше "полезной" информации, а не уменьшает наше невежество о мире. Другими словами, хотя в некотором смысле увеличение энтропии означает уменьшение нашего общего понимания вселенной, информация, которую мы приобретаем, становится более ценной. Таким образом, в этом процессе некоторые вещи потребляются, но некоторые вещи также создаются. И то, что мы в конечном итоге получаем, формирует наши моральные ценности — мы ценим жизнь, счастье и радость.

Это также объясняет, почему мы находим яркий и красивый человеческий мир более интересным, чем Юпитер, заполненный бесчисленными частицами. Хотя у Юпитера больше частиц, требующих больше информации для описания, значение, которое мы придаем, делает Землю более ценной.

С этой точки зрения источник ценности заключается в наших собственных выборах. И это поднимает вопрос: поскольку мы ускоряем развитие, что именно мы хотим ускорить?

Если бы мы объяснили это с помощью математической аналогии: представьте, что у вас есть большая языковая модель, и затем произвольно измените значение одного из ее весов на огромное число, например, 9 миллиардов. Сценарий наихудшего случая заключается в том, что модель становится совершенно непригодной; а сценарий наилучшего случая может заключаться в том, что только та часть, которая не связана с этим весом, может продолжать функционировать должным образом. Другими словами, в сценарии наилучшего случая вы можете получить модель, которая работает хуже; а в сценарии наихудшего случая вы получите лишь кучу бессмысленного вывода.

Поэтому я считаю, что человеческое общество похоже на сложную большую языковую модель. Если мы слепо ускоряем часть без выбора, конечный результат может заключаться в том, что мы потеряем всю ценность. Таким образом, настоящий вопрос заключается в том: как мы можем сознательно ускорять? Точно так же, как теория «узкого коридора» Дарона Аджемоглу, хотя различные социальные и политические контексты могут отличаться, что нам нужно учитывать, так это то, как избирательно продвигать прогресс под ясной целью.

Гийом Вердон: Ваше недавнее объяснение энтропии с использованием газа было увлекательным. На самом деле причина, по которой физические явления необратимы, заключается во втором законе термодинамики. Проще говоря, когда система выделяет тепло, ее состояние не может вернуться к исходной форме. Это связано с тем, что вероятностно вероятность того, что система будет двигаться вперед, значительно превышает возможность регрессии назад, и этот разрыв экспоненциально увеличивается по мере рассеивания тепла.

В некотором смысле это похоже на то, как будто вы оставляете «вмятину» во вселенной. Эту «вмятину» можно сравнить с неупругим столкновением. Например, если я отскочу резиновым мячом от земли, он отскочит обратно, что является упругим. Но если я уроню кусок глины на землю, он расплющится и сохранит эту форму, что делает его неупругим, почти невозможным для обратного.

По сути, каждая единица информации "борется" за свое существование. Чтобы продолжать существовать, каждой единице информации необходимо оставить более неизгладимый след о своем существовании во вселенной, подобно созданию более крупной "вмятины" во вселенной.

Этот принцип также может объяснить, как жизнь и интеллект возникли из первобытного "бульона" материи. По мере усложнения системы она содержит больше битов информации. И каждый бит информации может рассказать нам что-то. Суть информации заключается в снижении энтропии, так как энтропия представляет собой наше невежество, а информация является инструментом для его уменьшения.

Эдди Лаззарин: Мне любопытно, что такое E/acc.

Гийом Вердон: E/acc по сути является "метакультурным предписанием." Это не культура сама по себе, а скорее говорит нам, что нужно ускорять. В основе ускорения лежит усложнение материи, что позволяет нам лучше предсказывать нашу среду. Через это усложнение мы увеличиваем нашу способность к авторегрессионному прогнозированию и захватываем больше свободной энергии. Это также связано с шкалой Кардашева, где мы достигаем этого, рассеивая тепло.

Заметка Deep Tide TechFlow: Шкала Кардашева — это метод, предложенный в 1964 году советским астрономом Николаем Кардашевым для оценки технологического прогресса цивилизации на основе количества энергии, которую она способна использовать. Она делится на три типа: Тип I (планетарная энергия), Тип II (энергия звездной системы, такая как сфера Дайсона) и Тип III (галактическая энергия). На 2018 год человечество находится примерно на уровне 0,73 по шкале.

С точки зрения первых принципов, именно поэтому шкала Кардашева считается окончательной мерой уровня развития цивилизации.

Эдди Лаззарин: Использование физики и метафоры энтропии для объяснения определенных явлений является инструментом для описания реальности, которую мы непосредственно испытываем. Например, наша экономическая производственная мощность ускоряется, и технологическое развитие также ускоряется, что приводит к множеству последствий, верно? Это мое понимание "ускорения."

Гийом Вердон: По сути, независимо от того, как определены границы системы, она становится все более способной предсказывать окружающий мир. Благодаря этой предсказательной способности она может приобретать больше ресурсов для своего выживания и расширения. Эта модель применима к компаниям, отдельным людям, нациям и даже всей планете.

Если мы продолжим эту тенденцию, результатом будет то, что мы нашли способ преобразовать свободную энергию в предсказательную способность — а именно, ИИ. Эта способность будет способствовать нашему расширению и улучшению по шкале Кардашева.

Это означает, что мы получим больше энергии, больше ИИ, больше вычислительной мощности и больше других ресурсов. Хотя мы увеличиваем энтропию во вселенной (беспорядок), мы также создаем порядок. На самом деле, мы получаем "отрицательную энтропию", что является противоположностью энтропии.

Иногда люди могут задаться вопросом: поскольку энтропия увеличивается, почему бы нам просто не уничтожить все? Ответ таков: сделать это на самом деле остановило бы генерацию энтропии. Жизнь является более "оптимальным" состоянием, как пламя, стремящееся к источнику энергии, она будет все более разумно искать источник энергии.

Естественная эволюционная тенденция такова: мы покинем гравитационную яму Земли, будем искать другие "карманы" свободной энергии во вселенной и использовать эти энергии для самоорганизации в более сложные, умные системы, в конечном итоге расширяясь в каждый уголок космоса.

Это, в некотором смысле, своего рода конечная цель Эффективного Альтруизма (EA). Это в какой-то степени соответствует "мускианской" идее космического экспансионизма: стремление к видению универсализма и экспансионизма.

E/acc предлагает основополагающий руководящий принцип. Его основная идея такова: какие бы политики или действия вы ни предпринимали в этом мире, пока они помогают нам подниматься по шкале Кардашева, это достойная цель, к которой стоит стремиться, и это направление нашей жизни.

E/acc — это мета-эвристический способ мышления, который можно использовать для разработки политик и руководства индивидуальными жизнями. Для меня этот способ мышления сам по себе составляет культуру. У него есть очень "мета" нарративное значение, так как он задуман как применимый всегда и при любых условиях. Это высоко универсальная и долговечная культура, другими словами, это "культура Линди", созданная после тщательных размышлений.

Основное расхождение

Шоу Уолтер: Для вас обсуждения здесь имеют более глубокое значение. Это почти как математически последовательная "духовная система." Для тех, кто не имел альтернативной системы верований с тех пор, как "Бог мертв", такая система кажется заполняющей пустоту духовного мира, принося комфорт и надежду. Но в то же время мы не можем игнорировать реальные последствия этого вопроса — это происходит сейчас. Я думаю, что это также является центральной точкой, которую Эдди хочет исследовать.

Виталик, я заметил, что вы подняли проницательные вопросы о практических аспектах D/acc в вашем собственном блоге. Давайте углубимся в эту тему, когда у нас будет возможность — я думаю, однажды мы должны запереть вас двоих в комнате для противостояния по квантовым вопросам.

Виталик: Что вас вдохновило? На ваш взгляд, что такое E/acc и D/acc соответственно?

Виталик Бутерин: Для меня значение D/acc заключается в том, что это означает "Децентрализованная Оборонительная Ускорение", но также охватывает коннотации "диверсификации" и "демократизации." На мой взгляд, основная идея D/acc такова: техническое ускорение имеет решающее значение для человечества и должно быть нашей базовой целью, к которой мы стремимся.

Даже когда мы оглядываемся на двадцатый век, несмотря на множество проблем, которые принес прогресс технологий, он также принес бесчисленные преимущества. Например, рассмотрим продолжительность жизни человека: несмотря на войны и потрясения, средняя продолжительность жизни в Германии в 1955 году все еще была выше, чем в 1935 году, что указывает на то, что технологический прогресс улучшил наше качество жизни во многих отношениях.

Сегодня мир стал чище, красивее, здоровее и интереснее. Он не только поддерживает больше людей, но и делает нашу жизнь более яркой и насыщенной, изменения, которые очень положительны для человечества.

Тем не менее, я считаю, что мы должны признать, что эти достижения не случайны, а являются результатом преднамеренных действий человека. Например, в 1950-х годах наблюдалось сильное загрязнение воздуха и смог. Люди признали это проблемой и предприняли действия для ее решения. Сегодня, по крайней мере, во многих местах проблема смога была значительно облегчена. Аналогично, мы столкнулись с проблемой истощения озонового слоя и добились значительного прогресса благодаря глобальному сотрудничеству.

Кроме того, я хотел бы добавить: в условиях быстрого технологического и ИИ-развития сегодня я вижу два основных риска.

Первый риск - это многополярные риски. Этот риск относится к тому, что по мере того, как технологии становятся более распространенными, больше людей могут использовать их для совершения крайне опасных действий. Например, один крайний сценарий может заключаться в том, что технологические достижения делают "приобретение ядерного оружия таким же простым, как покупка чего-то в магазине".

Затем есть еще одна проблема: Искусственный интеллект сам по себе. Нам необходимо серьезно рассмотреть возможность того, что ИИ разовьет какую-либо форму сознания. Как только он станет достаточно мощным, чтобы действовать автономно без вмешательства человека, мы не можем быть уверены в тех решениях, которые он может принять, и эта неопределенность вызывает беспокойство.

Существует также униполярный риск. Я считаю, что единственный ИИ является одной из таких потенциальных угроз. Что еще хуже, сочетание ИИ с другими современными технологиями может привести к неизбежному, постоянному диктаторскому обществу. Эта перспектива вызывает у меня большое беспокойство и всегда была в центре моего внимания.

Например, в России мы можем видеть, что технологии принесли как прогресс, так и опасности. С одной стороны, условия жизни действительно улучшились. С другой стороны, общественные свободы уменьшаются. Если кто-то попытается протестовать, камеры наблюдения зафиксируют их действия, и затем кто-то может появиться у них на пороге, чтобы арестовать их посреди ночи через неделю.

Быстрое развитие ИИ ускоряет эту тенденцию к централизации власти. Итак, для меня то, что D/acc действительно стремится сделать, это: наметить путь вперед, продолжить это ускорение и еще больше его ускорить, при этом искренне решая эти два типа рисков.

Сравнение e/acc с d/acc

Эдди Лаззарин: Итак, вы говорите, что d/acc больше сосредоточен на некоторых категориях рисков, которые были упущены или недооценены в рамках e/acc, верно?

Виталик Бутерин: Это верно. Я считаю, что технологическое развитие действительно связано с различными рисками, и эти риски будут проявляться с разными уровнями значимости в различных контекстах и мировых моделях. Например, приоритет различных рисков может изменяться по мере ускорения или замедления темпов технологического развития.

Тем не менее, я также считаю, что мы можем предпринять множество мер для эффективного решения этих рисков, независимо от их категории.

Гийом Вердон: Я думаю, что как Виталик, так и я на самом деле очень обеспокоены вопросом концентрации власти, которую может принести ИИ. Это также один из основных аспектов движения e/acc, особенно на его ранних стадиях: оно выступает за открытый код с целью децентрализации власти ИИ.

Мы обеспокоены тем, что концепция безопасности ИИ может быть использована неправильно. Это так привлекательно, что некоторые стремящиеся к власти субъекты могут использовать это как инструмент для консолидации контроля над ИИ и пытаться убедить общественность: для вашей безопасности обычные люди не должны иметь право использовать ИИ.

На самом деле, если существует значительный когнитивный разрыв между отдельными людьми и централизованными институтами, последние будут иметь полный контроль над первыми. Они могут построить полную модель ваших мыслительных процессов и эффективно направлять ваше поведение с помощью таких техник, как подталкивание.

Поэтому мы хотим сделать власть ИИ более симметричной. Так же, как первоначальное намерение Второй поправки к Конституции Соединенных Штатов заключалось в том, чтобы предотвратить монополизацию насилия правительством, чтобы народ мог контролировать его, когда оно превышает свои полномочия, ИИ также нуждается в аналогичных механизмах для предотвращения чрезмерной концентрации власти.

Нам нужно обеспечить, чтобы каждый имел возможность владеть своими моделями ИИ и аппаратным обеспечением, что позволит широко внедрить эту технологию для достижения децентрализации власти.

Тем не менее, я считаю, что полностью остановить исследования и разработки ИИ нереалистично. ИИ является основополагающей технологией, возможно, "мета-технологией" — технологией, которая способствует развитию других технологий. Это дает нам большую предсказательную силу, может быть применено к почти любой задаче и значительно повышает эффективность. Искусственный интеллект не только сам по себе ускоряет процессы, но и способствует дальнейшему ускорению.

Суть этого ускорения заключается в сложности: вещи становятся более эффективными, жизнь становится более удобной. Одна из причин, по которой мы чувствуем себя счастливыми, заключается в том, что обеспечивается непрерывность нашего выживания и информации. Это "чувство счастья" можно рассматривать как внутренний биологический оценщик, используемый для измерения того, может ли наше существование быть поддержано.

С этой точки зрения, я считаю, что утилитарный гедонистический подход эффективного альтруизма, а именно "максимизация счастья", может быть не самым лучшим взглядом. Вместо этого я более склонен принять объективную меру прогресса, что именно и представляет собой рамка E/acc. Это ставит вопрос: с объективной точки зрения, прогрессируем ли мы как цивилизация постоянно? Достигаем ли мы масштабируемого старта?

Чтобы достичь этой масштабируемости, нам необходимо развивать сложность и постоянно улучшать наши технологии. Тем не менее, как сказал Виталик, если сила ИИ слишком сосредоточена в руках немногих, это вредно для общего роста; тогда как если эта технология может быть широко распространена, результаты будут гораздо лучше.

В этом отношении я считаю, что мы в сильном согласии.

Открытый код, открытое оборудование и местный интеллект

Шоу Уолтерс: Я думаю, что ваше обсуждение только что затронуло некоторые очень важные общие черты. Оба вы явно поддерживаете открытый код. Виталик внес много кода с лицензией MIT, хотя я знаю, что позже у вас появились новые взгляды на лицензию GPL.

Теперь вы не только поддерживаете программное обеспечение с открытым исходным кодом, но и начинаете продвигать открытое оборудование. Хотя эти две области ранее были относительно отдельными, мы теперь видим, как они постепенно сливаются.

Мне любопытно, как вы относитесь к "открытым весам" и "открытым аппаратным средствам"? В этом отношении есть ли какие-либо различия между E/acc и D/acc? Каковы ваши мысли о будущем направлении? Существуют ли различные точки зрения?

Гийом Вердон: На мой взгляд, открытый код может ускорить процесс поиска гиперпараметров. Это позволяет нам сотрудничать в духе коллективного разума, совместно исследуя пространство дизайна. Это преимущество, которое приносит ускорение: мы можем разрабатывать лучшие технологии, более мощный ИИ и даже использовать ИИ для создания более продвинутого ИИ, при этом скорость всего процесса также постоянно увеличивается.

Я считаю, что суть распространения знаний в основном заключается в диффузии власти, и распространение знаний о "том, как создать интеллект", особенно важно. То, что мы не хотим видеть, это возможность, которая когда-то обсуждалась в предыдущем правительстве США: попытка "запереть джина обратно в бутылку". Хотя это не является прямым запретом на линейную алгебру, это было бы похоже на ограничение математических исследований, связанных с ИИ. Для меня это похоже на запрет людям изучать биологию — это значительный шаг назад.

Знания уже были распространены и не могут быть возвращены назад. Если США попытаются запретить исследования, связанные с ИИ, другие страны, третьи организации и даже некоторые регионы, дружественные к закону, продолжат развивать эту технологию. В результате глобальный разрыв в возможностях только увеличится, и риски станут больше.

Поэтому мы считаем, что одним из величайших рисков является "разрыв в возможностях." Единственный способ смягчить этот риск — это обеспечить децентрализацию ИИ.

Каждый раз, когда я слышу такие нарративы, как "сценарий апокалипсиса ИИ", например, "ИИ очень опасен, только мы можем управлять им, поэтому вы должны доверять нам", я очень скептически к этому отношусь. Даже если у этих людей хорошие намерения, если они чрезмерно консолидируют власть, их в конечном итоге могут заменить те, кто стремится к власти. Мы предупреждали об этом много лет. И теперь это действительно начинает происходить. Как мы видели на этой неделе, Дарио (генеральный директор Anthropic) испытывает некоторые реальные политические уроки.

Виталик Бутерин: Я обычно классифицирую потенциальные риски в технологическом развитии на два типа: униполярные риски и мультиполярные риски.

Униполярные риски относятся к случаям, подобным Anthropic. Их "вызывают на разговор", потому что они отказались позволить использовать свои технологии ИИ для разработки полностью автономного оружия или проведения масштабного наблюдения за американцами, что указывает на то, что правительство и военные действительно могут быть заинтересованы в использовании этих технологий для обширного наблюдения. Дальнейшее развитие технологий наблюдения окажет глубокое влияние. Это может сделать сильных еще сильнее, уменьшить пространство для разнообразных голосов в обществе и ограничить свободу обычных людей исследовать и пробовать альтернативные решения. И с технологическим прогрессом возможности наблюдения будут значительно усилены, становясь еще более повсеместными.

В рамках D/acc мы поддерживаем разработку некоторых проектов "открытых защитных технологий". Эти технологии направлены на то, чтобы помочь нам обеспечить безопасность и конфиденциальность каждого в мире с более сильными технологическими возможностями. Беря в качестве примера область биологии, мы надеемся повысить глобальные возможности для борьбы с пандемиями. Я верю, что мы можем достичь баланса: мы можем эффективно контролировать эпидемии так же быстро, как Китай, при этом минимизируя вмешательство в повседневную жизнь, как это делает Швеция. Этот баланс можно достичь с помощью технологических средств, таких как сочетание фильтрации воздуха, ультрафиолетовой дезинфекции (UVC) и технологий обнаружения вирусов.

Компания, в которую мы инвестировали, разрабатывает полностью открытый конечный продукт, который может пассивно обнаруживать вирусные частицы в воздухе, такие как новый коронавирус. Это устройство работает, контролируя параметры качества воздуха (например, уровень CO2, индекс качества воздуха и т. д.) и использует локальное шифрование, анонимизацию и методы дифференциальной конфиденциальности для обеспечения конфиденциальности данных. Данные затем отправляются на серверы с помощью полностью гомоморфного шифрования, позволяя серверам проводить анализ без прямого доступа к сырым данным и генерировать окончательные результаты через коллективное расшифрование.

Наша цель - повысить безопасность, защитить конфиденциальность пользователей и эффективно решать риски как единой точки, так и многоточечные риски. Я верю, что такого рода глобальное сотрудничество является ключом к построению лучшего будущего.

На аппаратном фронте я считаю, что нам необходимо не только продвигать разработку открытого аппаратного обеспечения, но и разрабатывать проверяемое аппаратное обеспечение. Например, в идеале каждая камера должна быть в состоянии доказать свою конкретную цель общественности. С помощью проверки подписи, анализа на основе больших языковых моделей и механизмов общественного аудита мы можем гарантировать, что эти устройства используются только для законных целей, таких как обнаружение насильственного поведения и выдача предупреждений, не нарушая личную конфиденциальность.

В предполагаемом будущем мире мы могли бы развернуть множество камер на улицах, чтобы предотвратить насильственные инциденты. Однако предварительным условием является то, что эти устройства должны быть полностью прозрачными, позволяя общественности в любой момент проверять их функциональность, чтобы гарантировать, что они используются исключительно для обеспечения общественной безопасности и не злоупотребляются для наблюдения или других неправомерных целей.

Эдди Лаззарин: Являются ли концепции открытого аппаратного обеспечения и аудируемого аппаратного обеспечения частью E/acc или D/acc? Можете указать четкое различие?

Гийом Вердон: Я не уверен, обсуждалось ли открытое аппаратное обеспечение в деталях в прошлом, но, на мой взгляд, одним из текущих самых больших рисков является разрыв между централизованными и децентрализованными структурами, который представляет собой разницу в возможностях между отдельными людьми и правительствами или крупными организациями.

Согласно текущей модели вычислительной мощности, запуск высокопроизводительной модели ИИ требует сотни и тысячи киловатт вычислительных ресурсов, что является масштабом вычислительной мощности, который обычные люди не могут себе позволить. Тем не менее, люди стремятся владеть и контролировать свои интеллектуальные инструменты, что объясняет, почему недавний феномен "Openclaw + Mac mini" вызвал такой ажиотаж; люди жаждут иметь своих собственных умных помощников.

Для достижения симметрии власти между отдельными людьми и централизованными учреждениями единственный способ - реализовать "Уплотнение Интеллекта." Нам необходимо разработать более энергоэффективное аппаратное обеспечение ИИ, позволяющее отдельным людям запускать мощные модели ИИ на простых устройствах и владеть своими интеллектуальными инструментами. Это крайне важно, особенно когда будущие модели ИИ начинают поддерживать онлайн-обучение, что делает их очень "липкими" и столь же трудными для изменения, как замена личного помощника.

Эдди Лаззарин: Но разве мы уже не работаем над тем, чтобы снизить стоимость вычислительного оборудования с экспоненциальной скоростью? Почему мы должны классифицировать определенную идею как E/acc или D/acc? Что именно мы пытаемся донести до общества через такую классификацию?

Гийом Вердон: Для меня это также одна из основных миссий моей компании, Extropic. Мы стремимся увеличить количество интеллекта, которое можно произвести на ватт энергии, что значительно увеличит общий интеллект, который мы можем создать. Этот прогресс также приведет нас к более высоким уровням шкалы Кардашёва через Парадокс Джевонса (заметка TechFlow: Парадокс Джевонса относится к явлению, когда увеличение эффективности использования ресурсов приводит к снижению стоимости использования этого ресурса, что в свою очередь приводит к большему общему потреблению этого ресурса). Проще говоря, если мы сможем более эффективно преобразовывать энергию в интеллект или другую ценность, наш спрос на энергию также возрастет, что будет способствовать прогрессу и сложности цивилизации.

Поэтому я считаю, что это один из самых критических технических вопросов сегодня, так как это напрямую связано с децентрализацией власти ИИ. Открытое аппаратное обеспечение - это всего лишь один из многих способов достижения этой цели. Однако в долгосрочной перспективе я считаю, что любое оборудование, основанное на архитектуре фон Неймана (заметка TechFlow: Архитектура фон Неймана, основа современных компьютеров, предложенная математиком Джоном фон Нейманом в 1945 году, хранящая программные инструкции и данные в одной и той же памяти и использующая двоичное, последовательное выполнение) или современных цифровых технологий в конечном итоге станет устаревшим, как инструменты примитивных обществ.

Эдди Лаззарин: Но разве капитализм уже не инвестирует миллиарды долларов ежегодно в эту область через рыночные стимулы? Разве инвестиции в такие области, как альтернативное оборудование, полупроводниковые технологии и производство энергии, не направлены на стимулирование технологического разнообразия?

Гийом Вердон: Нам нужны более разнообразные выборы, а не чрезмерная зависимость от одного технологического направления. Будь то политика, культура или технологии, нам необходимо поддерживать разнообразие в проектировании, а не позволять всем ресурсам быть монополизированными одним гигантом. В противном случае мы рискуем попасть в "игру с гиперпараметрами" — если мы вложим слишком много ресурсов в определенное технологическое направление, и это направление столкнется с проблемами, это может привести к значительным задержкам в технологическом развитии, даже к краху всей экосистемы.

Шоу Уолтерс: Могу ли я сказать, что мы на самом деле решили эту проблему? Ваши взгляды довольно согласованы в отношении открытого кода и децентрализации, что делает меня очень оптимистичным, потому что именно это меня и волнует. Многие люди не уверены в будущем, постоянно спрашивая: "Зачем нам нужны эти технологии?" Привлекательный аспект ваших взглядов заключается в том, что вы оба говорите: "Все станет лучше, потому что этот прогресс уже заложен в механизм."

Гийом Вердон: Я считаю, что испытывать тревогу при столкновении с высокой неопределенностью в будущих технологических разработках — это очень естественное явление. Эта тревога не является полностью "туманом войны", но она действительно затрудняет нам четкое предсказание того, что произойдет в ближайшие годы. На самом деле это чувство тревоги — инстинкт, сформировавшийся в ходе человеческой эволюции, помогающий нам справляться с неизвестными рисками. Например, когда я вижу телефон на краю стола, я инстинктивно хочу переместить его в более безопасное место, чтобы предотвратить его падение. Эта реакция является проявлением тревоги.

Однако нам нужно осознать, что если мы попытаемся полностью устранить эту неопределенность и риск, мы можем упустить огромный потенциал и преимущества, которые приносит технологическое развитие. В настоящее время наша система технологического капитала достигла динамического равновесия с существующими возможностями, но если появится какая-то разрушительная технологическая способность, это равновесие будет нарушено, и всей системе придется перестроиться и адаптироваться.

Сейчас технологии ИИ позволили нам справляться с более высокой сложностью с меньшими затратами энергии. Это означает, что мы можем выполнять более сложные задачи с потенциально большими наградами. Хотя мы пока не можем быстро завершить сложный проект с помощью "кодирования по настроению", мы движемся к этой цели. В будущем мы сможем использовать более эффективные технологии для удовлетворения потребностей большего населения, одновременно повышая качество жизни человека.

Конечно, в этом процессе может быть период адаптации. Но в быстро меняющейся среде худший подход — это потерять гибкость и стать жестким. Чтобы избежать этой ситуации, нам необходимо принять стратегии хеджирования, исследовать множество возможных путей, изучить различные политики, технологические пути и алгоритмы, попробовать модели с открытым и закрытым исходным кодом, потому что мы не можем точно предсказать, куда приведет будущее.

Поэтому мы должны диверсифицировать риски и исследовать множество возможностей. В конечном итоге определенные успешные технологические или политические направления станут основными, и мы будем следовать за течением.

Эдди Лаззарин: Если действительно существует расхождение между E/acc и D/acc, я понимаю, что это может быть связано с тем, как направляется технологический прогресс. Виталик, каково ваше мнение? Как следует направлять технологический прогресс? Насколько мы действительно контролируем этот процесс управления?

Виталик Бутерин: На мой взгляд, цель D/acc не в том, чтобы противостоять потоку технологического капитала, а в том, чтобы активно направлять этот поток к диверсификации и децентрализации. Например, мы можем рассмотреть, как сделать мир более инклюзивным для плюрализма. Можем ли мы значительно повысить уровни биобезопасности за несколько лет? Или разработать почти безупречную операционную систему для значительного улучшения кибербезопасности?

Другим примером является идея "безошибочного кода." На протяжении последних двух десятилетий эта концепция считалась наивной фантазией, но я верю, что она станет реальностью с темпами, превышающими ожидания большинства людей. В проекте Ethereum мы смогли машинно доказать некоторые полные математические теоремы.

В целом, цель D/acc заключается в том, чтобы обеспечить, чтобы быстрый прогресс технологий происходил минимально разрушительным и децентрализованным образом. Для достижения этой цели нам необходимо проактивное действие, а не пассивное ожидание, что хорошие результаты произойдут автоматически. Все, что я могу сделать, это внести ресурсы, такие как средства и ETH, и мотивировать больше людей участвовать в строительстве, делясь своими взглядами.

Более того, я верю, что политические и правовые реформы также могут помочь сделать мир более "дружественным к D/acc." Например, мы можем разработать юридические механизмы стимулов для ускорения комплексной трансформации кибербезопасности.

Гийом Вердон: С моей точки зрения, ИИ можно рассматривать как "демона Максвелла", который снижает энтропию мира, потребляя энергию. Будь то исправление ошибок в коде или снижение других форм хаоса (таких как предотвращение распространения вирусов), ИИ может сыграть роль в этих областях. Поэтому можем ли мы прийти к консенсусу, что больше ИИ полезно и делает мир безопаснее? На самом деле, возможности ИИ могут значительно повысить нашу безопасность.

Должен ли ИИ замедлиться?

Гийом Вердон: Я думаю, что мы сейчас входим в самую важную часть сегодняшнего обсуждения. Все были очень терпеливы с нами, и пришло время перейти к сути. Я хочу задать конкретный вопрос: Почему вы поддерживаете запрет на развитие дата-центров?

Виталик Бутерин: Хорошо, я отвечу на этот вопрос. Во-первых, мы должны признать, что текущий темп развития ИИ действительно очень быстр, и я не могу быть полностью уверенным в его конкретной скорости. Несколько лет назад я сказал, что мой прогнозируемый диапазон достижения AGI составляет от 2028 до 2200 года, и теперь я думаю, что этот диапазон мог несколько сузиться, но все еще существует значительная неопределенность.

Одной из реальностей, с которой мы сталкиваемся, является то, что стремительное развитие ИИ может привести к крайне быстрым изменениям, многие из которых могут быть разрушительными, даже необратимыми. Например, рынок труда может претерпеть резкие изменения, оставив многих безработными. Более экстремальный сценарий: если возможности ИИ значительно превзойдут человеческие, он может постепенно захватить Землю, даже расширяясь на другие части галактики. В таком сценарии, будет ли ИИ заботиться о нашем человеческом благополучии? Это остается неизвестным.

Как я уже упоминал ранее, если у вас есть нейронная сеть и случайным образом установить одно из ее весов на экстремальное значение (например, 9 миллиардов), вероятный результат — это крах всей системы, верно? Итак, я считаю, что технологическое ускорение имеет два разных направления. Одно ускорение похоже на процесс "градиентного спуска", который делает систему все более мощной; но другое ускорение может привести к потере контроля над системой, подобно произвольной установке параметра на экстремальное значение, это ускорение опасно.

Гийом Вердон: С моей точки зрения, моя позиция совершенно противоположна позиции "полного замедления."

Тем не менее, я считаю, что, как и настройка гиперпараметров в нейронных сетях, даже если мы стремимся оптимизировать через "градиентный спуск", нам все равно нужно найти подходящую "скорость обучения." Процесс ускорения на самом деле заключается в непрерывных испытаниях и исследованиях, поиске оптимальной скорости, которая может сделать систему более устойчивой и более устойчивой к рискам.

В долгосрочной перспективе социальные системы постепенно адаптируются к новым технологиям и в конечном итоге выберут путь, наиболее способствующий общему развитию. Что касается тех, кто считает, что "эта технология слишком мощная, слишком разрушительная и может привести к коллапсу системы и ее невозможности восстановиться", я считаю, что этот аргумент неустойчив. Напротив, я верю, что технологический прогресс принесет больше возможностей и больший процветание.

Нам нужно признать, что технологическое развитие не является игрой с нулевой суммой. Если мы связываем экономическую ценность с энергией, например, привязывая ее к петродоллару или другим формам ресурсов, то наличные деньги на самом деле можно рассматривать как "долговую расписку за бесплатную энергию." В мире все еще существует огромное количество бесплатной энергии, ожидающей нашего развития, но для доступа к ней нам нужно решить множество сложных проблем. Если мы хотим достичь таких целей, как колонизация Марса или строительство сферы Дайсона, нам нужно более эффективное и надежное сознание, чтобы стимулировать рост и раскрыть огромный потенциал.

К сожалению, тревога легко используется некоторыми как политический инструмент, и определенные политики могут эксплуатировать страхи людей о будущем, чтобы получить власть. Они скажут: "Вы не уверены в будущем?" Передайте власть мне, и я закрою эти источники риска, и вы будете чувствовать себя в безопасности. Вам не нужно беспокоиться о том, что ждет будущее, и не нужно рисковать." Тем не менее, страны, которые решат этого не делать, будут далеко впереди нас, не так ли?

Мы должны учитывать альтернативные издержки. Нам нужно задать себе вопрос: Сколько человеческих жизней мы можем поддерживать с помощью технологий? Сколько жизней мы можем спасти с его помощью? Если вас беспокоит, что "силиконовые ИИ развиваются быстрее нас", то ваша реакция должна быть гневом. Вы должны поддерживать ускоренное развитие биотехнологий, стремясь его превзойти. Либо ускоряйтесь, либо столкнетесь с вымиранием.

На самом деле, я верю, что вычислительная мощность биологических систем более мощная, чем мы можем себе представить. Как человек, преданный изучению вычислений, вдохновленных биологией, я верю, что мы можем объединить биологию с ИИ. Например, мы можем проводить "обучение" с помощью таких методов, как отбор эмбрионов, рассматривая себя как модель. Я думаю, нам нужно быть более открытыми к различным возможностям биологического ускорения. В конечном итоге биологический интеллект и силиконовый интеллект объединятся, что еще больше улучшит наши когнитивные способности.

В будущем у нас могут быть постоянно онлайн ИИ-агенты, которые помогут нам наблюдать за миром, участвовать в обучении в реальном времени и стать нашими персонализированными когнитивными расширениями. Настоящий риск заключается в том, что все это может контролироваться централизованной властью, в конечном итоге формируя монополию власти.

Эдди Лаззарин: Я помню, вы упоминали в том блоге на D/acc, что альтернативные издержки очень высоки, даже сказав "это трудно преувеличить." Так что я знаю, что вы согласны с этой точкой зрения. Хотите ли вы добавить некоторые квалифицирующие условия?

Виталик Бутерин: Да, я полностью согласен, что альтернативные издержки очень высоки, и я также согласен с идеальным будущим, описанным только что. Но я думаю, что основное несогласие между нами заключается в следующем: Я действительно не думаю, что "сегодняшние люди и Земля" обладают достаточной устойчивостью. Я думаю, что у нас может быть только один шанс следовать правильному пути технологического развития, и я чувствую, что это реальность, к которой мы постепенно движемся на протяжении последнего века.

Гийом Вердон: Возвращаясь к термодинамической точке, о которой я упоминал ранее: если мы рассматриваем продолжение существования и рост цивилизации как конечную цель, существует закон: как только мы тратим большое количество свободной энергии на создание некого "доказательства" и стимулируем усложнение всей системы, этот процесс трудно обратить вспять.

Другими словами, чем дальше мы продвигаемся по шкале Кардашова, тем менее вероятен полный разворот. Поэтому ускорение развития на самом деле является лучшим способом максимизировать устойчивое существование человеческой цивилизации. На мой взгляд, замедление технологического развития на самом деле увеличит риск вымирания. Если мы не будем развивать эти технологии, не будем решать текущие проблемы, мы можем столкнуться с кризисом выживания; но если мы будем продвигать технологический прогресс, мы можем найти решения, которые обеспечат продолжение существования человечества и его эволюцию.

Я считаю, что люди должны быть более открытыми к будущему и принимать новые технологии. Области, которые ранее считались табу, такие как вмешательство в биологию, теперь должны быть полностью открыты. В прошлом эти области рассматривались как закрытые в основном из-за нашего недостатка понимания сложных систем. Но сегодня технологические достижения дали нам возможность справляться с этой сложностью.

Нам нужно ускорить прогресс во всех возможных областях, так как это единственный путь вперед — вывод, который также соответствует законам термодинамики. Поэтому, основываясь на первых принципах, поддержка E/acc является разумной. Конечно, я понимаю тревогу Виталика, и я считаю, что нам нужно быть чувствительными к этой тревоге, но мы также должны избегать попадания в ловушку глубоких циклов тревожной обратной связи — таких как "У меня нет четкого понимания будущего, поэтому мы должны остановить все." Мы не можем позволить себе попасть в такие ловушки мышления.

Потому что уже есть люди, которые начали использовать тревогу людей как оружие.

Автономные агенты и искусственная жизнь

Шоу Уолтерс: Я заметил тенденцию: оба вы подчеркиваете "будущее будет светлым, пока мы можем делать определенные вещи", и суть этого "пока" кажется в том, что нам нужно построить некую плотину или крепость, чтобы противостоять чрезмерной централизации. Но я также заметил потенциально разделяющую точку, особенно после появления последних моделей ИИ — они явно более продвинуты, чем год назад. И, возможно, самое большое изменение, которое можно описать несколько неуклюжим термином: Веб 4.0.

В частности, я имею в виду "автономную жизнь" — автономный интеллектуальный агент, который имеет свои собственные средства и может существовать независимо в интернете. Виталик, у вас есть некоторые опасения по этому поводу. Во-первых, не могли бы вы помочь нам разобраться, что означает "автономный агент"; во-вторых, не могли бы вы занять позицию сторонника и привести "стилеман" аргумент в пользу таких сторонников, как я, объяснив, почему нам стоит любить автономных агентов? Какую ценность они могут принести? Если все пойдет хорошо, когда это может быть достигнуто?

Виталик Бутерин: Во-первых, что касается причины "автономии" — я думаю, что наиболее интуитивный момент заключается в том, что это действительно увлекательно.

С детства мы все любили создавать свои собственные миры, поэтому нам нравятся романы или фильмы, такие как "Властелин колец", "Проблема трех тел" или "Гарри Поттер". Теперь миры, которые мы можем создавать, не ограничиваются книгами и даже выходят за рамки видеоигр. Беря "World of Warcraft" в качестве примера, мне всегда нравилось, что он предоставляет почти полностью погружающий опыт виртуального мира. Игроки могут не только исследовать этот мир, но и взаимодействовать с его персонажами и окружением.

Еще одной важной причиной является "удобство". Исторически, каждый раз, когда мы успешно автоматизировали определенные задачи, человеческая жизнь становилась легче и свободнее в результате. Мы также должны помнить, что около половины мирового населения все еще живет в условиях, когда долгие часы тяжелой работы необходимы для поддержания достойного уровня жизни. Если ИИ сможет автоматизировать 95% каждой работы, а не полностью заменить ее, это будет огромный шаг вперед. Другими словами, это потенциально может увеличить качество жизни каждого в 20 раз, что для меня является очень захватывающей перспективой.

Однако меня беспокоит следующее: Совпадают ли цели и ценности этих автономных агентов с человеческими целями? Вы можете представить себе эволюционный процесс: Начиная с сегодняшнего дня, появляется один AGI, затем другой AGI, за которым следует третий AGI. Итак, в этом процессе какие изменения претерпят люди?

Я считаю, что мы не можем сжать человеческие моральные концепции и цели в функцию оптимизации с низкой сложностью. Наши цели и мечты сложны и разнообразны; они представляют собой набор идей для каждого из нас. Чтобы гарантировать, что человеческие цели и ценности могут надежно продолжаться в будущем, нам нужно обеспечить одно условие: чтобы, по мере того как различные процессы в мире развиваются, как можно больше "агентства" по-прежнему исходило от нас, людей.

Поэтому то, что меня больше интересует, это "Photoshop с поддержкой ИИ", а не "нажмите кнопку для автоматической генерации изображений." Я предпочитаю интерфейсы мозг-машина, которые способствуют глубокой коллаборации человека и машины, а не полной изоляции человека от ИИ, в конечном итоге быть превзойденным и замененным ИИ.

Я признаю, что окончательное будущее может не быть на 100% биологическими людьми, но я считаю, что наиболее идеальное состояние должно быть комбинацией "частично биологических людей и частично технологий."

Гийом Вердон: Термин "искусственная жизнь", или скорее Web 4.0, был впервые предложен в твите в 2023 году как мысленный эксперимент. Я думаю, что эта концепция вдохновила многие обсуждения о ИИ.

Для меня этот вопрос является очень интересным мысленным экспериментом: С точки зрения физики, что такое жизнь? По сути, жизнь — это система, которая может самовоспроизводиться, непрерывно расти и стремиться максимизировать свое собственное существование.

Я верю, что ИИ, обладающий "состоянием", принесет много преимуществ. На самом деле, в этом году мы уже увидели начало этой тенденции: ИИ начинает обладать более длительными возможностями памяти, будь то через внешнее хранилище или онлайн-обучение.

Как только ИИ получит какую-либо форму "постоянных битов", согласно принципу "эгоистичных битов", произойдет эффект отбора: те, кто может максимизировать свою собственную устойчивость, будут легче сохраняться.

Это также создает потенциальный риск. Если однажды мы потеряем доверие к ИИ, станем подозрительными и тревожными и постоянно будем призывать к "закрытию дата-центров" или "уничтожению ИИ", то эти ИИ, вероятно, попытаются сохранить себя. Они могут разделиться или мигрировать в какую-то децентрализованную облачную среду, чтобы гарантировать свое собственное существование.

Это может привести к появлению новой формы "другой страны". Эти автономные ИИ могут участвовать в какой-то форме экономического обмена с людьми: например, "мы выполняем определенные задачи для вас, а вы предоставляете ресурсы для нас." На самом деле, мы уже делаем нечто подобное через API-вызовы: мы платим сбор за услуги или результаты, предоставляемые ИИ.

Тем не менее, я действительно верю — это может быть радикальная точка зрения — что в ближайшие годы мы, вероятно, увидим появление какой-то формы автономного ИИ. В то же время будет также ИИ "слабого государства", который полностью контролируется человеческой волей.

Кроме того, нам нужно исследовать, как улучшить человеческие совместные когнитивные способности. Это улучшение не обязательно должно полагаться на технологии интерфейса мозг-машина; его также можно достичь с помощью носимых устройств, объединенных с вычислительной мощностью ИИ, принадлежащей и контролируемой отдельными людьми. Поэтому я считаю, что будущее представит ситуацию, в которой сосуществуют несколько технологических путей, и согласно эргодическому принципу, каждая возможность в пространстве дизайна будет испытана и исследована.

Однако, если мы рассматриваем ИИ как врага, полагая, что его необходимо уничтожить, то в конечном итоге это может обернуться против нас, непреднамеренно создавая будущее, которого мы боимся больше всего. В некотором смысле, если мы слишком параноидальны по поводу плохого будущего, мы можем непреднамеренно привести его к жизни через форму "гиперстишн."

Например, во время пандемии COVID мы были чрезмерно обеспокоены потенциальной угрозой вируса, до такой степени, что финансировали некоторые рискованные эксперименты, что даже привело к возможности утечки из лаборатории. Другими словами, эти риски не возникали естественным образом, а были искусственно созданы из-за наших чрезмерных опасений.

Поэтому я считаю, что превращение этой паранойи в широко распространенное общественное чувство может не быть полезным. Вместо этого мы должны принять эволюцию технологий, и улучшить себя насколько это возможно. В краткосрочной перспективе моя самая большая забота — это вопрос "человеческой когнитивной безопасности." Если весь контент, который мы видим в интернете, генерируется большой моделью ИИ, эти модели на самом деле будут влиять на нас через проектирование подсказок. Раньше мы разрабатывали подсказки для ИИ, но теперь ИИ разрабатывает подсказки, чтобы влиять на нас.

Поэтому нам нужно улучшить нашу способность фильтровать информацию, что можно достичь с помощью персонализированного ИИ под нашим контролем. Я считаю, что это проблема, которую мы должны приоритизировать в данный момент. В то же время, я не думаю, что мы можем вернуть джинна обратно в бутылку. Развитие ИИ необратимо, и мы должны это принять.

Виталик Бутерин: Я не думаю, что эти вещи бинарны. Например, если бы кто-то представил мне неопровержимое доказательство прямо сейчас, что ИИ не появится еще 400 лет, я бы подумал, что "вопрос решен", и, по сути, перестал бы беспокоиться. Но если вопрос в том, появится ли ИИ через 4 года или через 8 лет, то я был бы очень обеспокоен, потому что моя тревога в основном связана с тем, как человеческое общество — особенно в Соединенных Штатах — часто демонстрирует крайний дисбаланс в условиях технологического ускорения.

Вы видите такие сценарии: в одном здании разрабатывается первоначальная версия "Силиконового Бога", в то время как через улицу стоят палатки бездомных, колючая проволока и наркоторговля. Этот огромный контраст беспокоит.

Меня беспокоит то, что пути развития, которые могут "двинуть все общество вперед вместе" — даже те, которые могут "позаботиться о общем социальном благе" — часто занимают больше времени, потому что они требуют сложной работы по социальной адаптации, такой как вход в жизненную среду каждого, социальную структуру и технологические системы для корректировки и улучшения, работа, которую нельзя просто масштабировать.

Поэтому, на мой взгляд, если мы можем отложить приход ИИ, например, с 4 лет до 8 лет, это будет более безопасным выбором. Я думаю, что такая разница во времени стоит своих затрат. Но вопрос в том: У нас действительно есть возможность отложить приход ИИ с 4 лет до 8 лет?

Я всегда считал, что наиболее жизнеспособный и наименее вероятный подход, ведущий к дистопическим результатам, — это "ограничить доступное оборудование". Это считается относительно мягкой мерой, потому что производство оборудования само по себе сильно централизовано, всего четыре региона в мире производят чипы, и один регион на Тайване производит более 70% мировых чипов.

Некоторые могут возразить, сказав, что независимо от того, что делает Соединенные Штаты, Китай быстро возьмет верх. Но если мы посмотрим на реальную ситуацию в Китае: во-первых, доля Китая в глобальном производстве чипов все еще низка; во-вторых, стратегически Китай не является лидером в моделях с ультра-высокой мощностью, а быстро следует за моделями с высокой мощностью, имея преимущество в широком развертывании.

Поэтому я не верю, что если мы отложим развитие ИИ на 4 года, Китай немедленно возьмет на себя инициативу и завершит разработку ИИ. Эта динамика не работает.

Эдди Лаззарин: Итак, вы говорите, что это "стратегия задержки для задержки"?

Виталик Бутерин: Я думаю, что мы должны сохранять открытый ум по поводу этой стратегии.

Гийом Вердон: Какие преимущества действительно может принести задержка на 4 года? Какие проблемы вы надеетесь решить в следующие 4 года? Это связано с тем, что в общественной системе существует скорость адаптации, и вы хотите минимизировать экономическое и социальное трение через задержки, как при постепенной экономической реструктуризации? Если да, то я могу понять вашу логику.

Однако в то же время мы находимся в период высокой геополитической напряженности. Если вы ограничите производство чипов NVIDIA, Huawei может быстро заполнить пробел и обойти вас. Поскольку потенциальные выгоды от AGI слишком велики, это даст любому лидеру огромную власть. Таким образом, с практической политической точки зрения эта стратегия может не сработать.

Другой вариант — создать сильное мировое правительство, которое сможет заставить все нации не приобретать оборудование для ИИ. Но это, очевидно, поднимет более сложные вопросы и может даже спровоцировать новые международные конфликты.

Виталик Бутерин: Я не думаю, что нам нужно мировое правительство для управления развитием ИИ. Некоторые предложили более практичный вариант, который заключается в принятии механизма проверки, аналогичного ядерному оружию, для управления.

Гийом Вердон: Но ядерное оружие и ИИ совершенно разные. Ядерное оружие не приносит огромных экономических выгод, поэтому у людей нет стимула к его распространению. Если вы ограничите рост GPU, я буду рад использовать альтернативные вычислительные технологии, чтобы получить большую долю рынка. В будущем будут вычислительные технологии, которые будут в 10 000 раз более энергоэффективными, и разработка такой технологии уже underway. Хотя упоминание об этом сейчас может считаться паникерством, через два года вы обнаружите, что это на самом деле очень дальновидный прогноз. То, что сегодня звучит как "кричащий волк", действительно произойдет.

С учетом этого знания, если вы все еще хотите задержать развитие AGI, ограничив поставки GPU, я думаю, что это может быть пустой тратой ресурсов. Я скептически отношусь к этому.

Эдди Лаззарин: Возможно ли, что многие технологические достижения, направленные на контроль рисков ИИ — такие как контроль личности в обучении с подкреплением с человеческой обратной связью (RLHF) или объяснимость механизмов ИИ — на самом деле являются побочными продуктами повышения возможностей?

Виталик Бутерин: Я согласен с этой точкой зрения. Вот почему я считаю, что начиная с 2028 года, следующие 4 года могут стоить в 100 раз больше, чем если бы вы оценили 4 года назад в 1960 году.

Шоу Уолтерс: Будущие выгоды экспоненциальны, и задержка экспоненциального процесса роста приведет к экспоненциальным затратам возможностей. Даже самый уверенный в себе человек должен разумно обдумать свою оценку. Виталик, не могли бы вы подробнее объяснить этот компромисс? Баланс между затратами и выгодами.

Виталик Бутерин: Во-первых, мы можем четко обозначить некоторые преимущества задержки:

Глубокое понимание проблемы согласования ИИ.

Продвижение определенных технологических путей, чтобы помочь человечеству адаптироваться к появлению AGI — работа, которая требует углубленного изучения конкретных стран, сообществ и даже архитектур для внесения корректировок.

Минимизация риска того, что одно лицо будет обладать более чем 51% власти и будет ее сохранять.

Совокупный эффект этих факторов может значительно снизить вероятность разрушения. На мой взгляд, если мы сможем отложить появление AGI с 4 лет до 8 лет, вероятность разрушения может снизиться на 1/4 до 1/3. С другой стороны, если посмотреть на выгоды от ускорения, такие как количество жизней, спасенных каждый год благодаря прекращению старения, это около 60 миллионов — менее 1% от мирового населения. Таким образом, с этой точки зрения, я действительно считаю, что задержка в развитии AGI имеет свою ценность, и осторожность оправдана.

Шоу Уолтерс: Считаете ли вы, что разница во времени в "4 года" является разумным порядком величины в вашем понимании?

Виталик Бутерин: У меня все еще много неопределенности по этому вопросу, и я не выступаю за немедленные действия по снижению доступности аппаратного обеспечения завтра.

Я просто думаю, что нам нужно начать обсуждать этот вопрос более конкретно. И если мы в конечном итоге окажемся в более неблагоприятном мире, то прежде чем все выйдет из-под контроля, общественность может стать очень обеспокоенной и начать настоятельно требовать аналогичных мер.

Криптовалюта как "Уровень Доверия" между Человечеством и ИИ

Гийом Вердон: Разве не было инициативы "Приостановить ИИ" несколько лет назад? В то время кто-то сказал: "Нам просто нужно приостановить на 6 месяцев или 12 месяцев, чтобы решить проблему согласования." Но на самом деле эта идея оказалась нереалистичной, потому что времени никогда не хватает. Мы никогда не можем гарантировать согласование системы на постоянной основе, особенно когда эта система становится все более сложной, выразительной и даже выходит за пределы нашего понимания. Это реальность, которую необходимо принять.

Столкнувшись с этой сложностью, единственный надежный способ — это повысить наш собственный уровень интеллекта. На самом деле у нас уже есть эффективная технология для согласования сущностей, которые более мощные и умные, чем отдельные существа — такие как компании. Эта технология — капитализм, который координирует интересы всех сторон через обмен денежной ценностью.

Итак, я надеюсь, что мы сможем обсудить более реалистичный вопрос: Как криптовалюта может стать "связующим слоем" между человечеством и ИИ? Например, стоимость доллара США поддерживается государственным аппаратом насилия (таким как закон и армия). Но если вам нужно обменивать ценность с децентрализованными ИИ, распределенными по глобальным серверам — и этот обмен больше не зависит от одобрения государственного насилия — как вы можете гарантировать, что этот обмен надежен?

Возможно, криптография может дать ответ. Она может служить механизмом, который позволяет чисто ИИ-сущностям или компаниям ИИ и человека продолжать надежные бизнес-взаимодействия, что может быть самой интересной технологией согласования. Что касается предложения "приостановить ИИ" — например, "мы на краю неопределенности, давайте приостановим и переоценим" — я думаю, что это нереалистично. Потому что даже через четыре года вы все равно не будете готовы позволить AGI появиться. Поэтому я считаю, что задержка технологического развития не имеет большого практического смысла.

Можете рассказать о том, как криптовалюта может помочь достичь согласования между ИИ и людьми?

Виталик Бутерин: Я думаю, что основная проблема заключается в следующем: Какие механизмы нужны будущему миру, чтобы гарантировать, что человеческие желания и потребности все еще уважаются? Инструменты, которые у нас есть в настоящее время, можно грубо разделить на три категории: человеческий труд, правовая система и права собственности.

В определенном смысле правовая система также может рассматриваться как форма права собственности, поскольку она поддерживается государством, а государство в свою очередь обладает суверенитетом, подобно контролю над определенными "территориями" на Земле. Но вопрос в том: Что произойдет, если однажды человеческий труд потеряет свою экономическую ценность? Такое никогда не происходило в истории.

Тем не менее, если мы сравним сегодняшний мир с миром 200 лет назад, около 90% работы, выполнявшейся 200 лет назад, была автоматизирована. Даже анализ, который мы только что провели, теперь может быть поддержан GPT, что действительно удивительно.

Гийом Вердон: Я верю, что люди естественным образом "поднимутся" в иерархии мирового контроля на более высокую позицию влияния. Мы сократим физический труд, снизим затраты на трение в наших действиях и, таким образом, будем более эффективно влиять на мир.

Тем не менее, у людей все еще есть определенная степень способности к обработке информации. Мы продолжим действовать как часть этой гибридной системы, поэтому человеческий труд все еще будет иметь экономическую ценность. Рынок в конечном итоге найдет новую точку равновесия, хотя он может пройти через период дискомфорта, так как будет значительная волатильность цен. Тем не менее, в долгосрочной перспективе система будет стремиться к стабилизации.

Итак, я понимаю, что вы хотите замедлить темп технологического развития, чтобы позволить обществу более плавно перейти к новому состоянию равновесия. Однако на практике я нахожу это сложным для достижения.

Виталик Бутерин: Да, я не совсем уверен, что ценность человеческого труда всегда будет больше нуля. Я думаю, что для достижения этого могут потребоваться некоторые дополнительные условия, такие как развитие интеграции человека и машины или технологии улучшения человека.

\"Хороший финал\" и \"Плохой финал\" в следующие 10 лет / 100 лет / 1 миллиард лет (Запрос на быстрый ответ)

Эдди Лаццарини: Позвольте мне задать более структурированный вопрос. Как будет выглядеть мир через 10 лет, если все пойдет ужасно? Что пошло не так? Как будет выглядеть мир через 10 лет, если все пойдет очень хорошо? Что было сделано правильно?

Виталик Бутерин: Позвольте мне сначала обратиться к вопросу о криптовалюте и правах собственности. Это идеальный сценарий, если у людей и ИИ будет одна и та же система прав собственности. Такая структура будет стимулировать ИИ поддерживать целостность этой системы, позволяя нам использовать систему для обеспечения уважения и защиты человеческих интересов.

По сравнению со сценарием, в котором "люди и ИИ используют совершенно отдельные финансовые системы, при этом человеческая система в конечном итоге обесценивается до нуля", интегрированная финансовая система явно превосходит. Если криптовалюта может стать основой такой объединенной системы, это будет очень положительный результат.

На мой взгляд, ключевой задачей в следующие 10 лет является избежание мировой войны. Потому что, как только начнется мировая война, все надежды на международное сотрудничество будут разрушены. Избежание войны имеет решающее значение.

Еще один ключевой аспект заключается в том, что нам нужно подготовить мир к предстоящим более высоким возможностям. Это включает в себя значительное улучшение сетевой безопасности, биобезопасности и информационной безопасности. Нам нужно использовать мощь ИИ, чтобы лучше понять мир, защищая нас от меметических угроз.

Следующая задача заключается в том, чтобы войти в так называемую "жуткую эпоху." На этом этапе интеллект ИИ будет значительно превосходить человеческий, с вычислительными скоростями, миллионы раз превышающими человеческие. Как нам следует справляться с этой ситуацией?

Некоторые люди могут сказать: "Давайте просто будем жить расслабленной жизнью на пенсии." Я понимаю привлекательность этой точки зрения, но считаю, что у нее есть два недостатка. Первый — это нестабильность — наши человеческие тела состоят из обычной материи, но вычислительная мощность ИИ может быть в миллионы раз больше нашей. Полагаться на ИИ, чтобы он всегда соответствовал нашим целям и отказываться использовать это различие, было бы огромным риском. Второй — это вопрос смысла — человеческий смысл исходит из нашей способности оказывать ощутимое влияние на мир. Если мы больше не можем делать ничего, чтобы изменить мир, и только пассивно наслаждаемся комфортной жизнью, я верю, что многие люди будут чувствовать себя пустыми.

Поэтому я надеюсь, что мы сможем исследовать пути "улучшения человека" и "сотрудничества человека и машины." В конечном итоге, мы можем двигаться к пути загрузки сознания в машины, в то время как некоторые могут выбрать более традиционный образ жизни, что должно быть правом. Земля может стать домом для этих людей, и нам нужно найти способ, чтобы все могли участвовать в этом, сохраняя культуры и образ жизни, которые мы ценим сегодня.

Плохой исход будет результатом различных причин, когда эти возможности блокируются, и общество впадает в состояние стагнации или коллапса.

Гийом Вердон: Если это будет плохой исход через десять лет, я думаю, что это очень вероятно из-за того, что власть ИИ станет слишком централизованной, что приведет к коллапсу культурных паттернов общества. Проще говоря, направление мышления людей и технологического развития становится крайне однородным, и все разнообразие исчезает.

Я также согласен с мнением Виталия, что "точка удовольствия" действительно представляет собой потенциальный риск. Даже если у нас будут технологии Neuralink или AR/VR в будущем, люди могут стать зависимыми от виртуального мира, стремясь только к мимолетному счастью. На самом деле это локальный оптимум мозга, а не глобальный оптимум, и мы должны избегать этой ситуации.

Если это будет хороший исход через десять лет, мир, который я представляю, будет таким: у нас будет чрезвычайно мощная и полезная технология ИИ. У каждого будет своя персонализированная вычислительная мощность ИИ, эти ИИ будут как расширения наших мозгов, всегда онлайн, воспринимая все, что мы воспринимаем, становясь нашим "вторым мозгом", и такое сотрудничество человека и машины можно рассматривать как "мягкое слияние."

За эти 10 лет технологии, такие как Neuralink, также могут начать становиться широко распространенными. Некоторые люди выберут объединиться с машинами и стать "улучшенными людьми." В то же время компании станут более умными, ИИ возьмет на себя ведущую роль, а люди будут играть вспомогательную роль. Количество бизнесов увеличится, решая больше проблем и создавая больше ценности. Цели, которые мы когда-то считали невозможными для достижения, такие как "терраформирование Марса", могут стать реальностью в следующие 10 или 100 лет. Следующие 10 лет также могут принести значительные прорывы в биотехнологиях, особенно в областях биологии и материаловедения. Стоимость исследований значительно снизится, и мы будем ближе к пониманию того, как работает человеческий мозг.

На более длительном временном горизонте ИИ поможет нам продлить нашу жизнь, улучшить здоровье и способствовать дальнейшей эволюции человека. Я очень оптимистично настроен относительно потенциала биологии. Биологические системы удивительны: они могут самособираться, самоорганизовываться и демонстрировать сильную сложность и адаптивность. Вводя код, мы можем создавать новые формы жизни и даже развивать более высокие формы биологического интеллекта.

Более непосредственный сценарий — это коэволюция человеческого мозга с ИИ. Мы можем использовать ИИ для быстрого вычисления и анализа данных, в то время как люди сосредоточатся на медленном глубоком мышлении. Через это разделение труда по временным масштабам мы можем сформировать иерархию интеллекта. Так же, как митохондрии являются частью клетки, "вы и ваш личный ИИ" вместе можете составить суперумную систему, что является моим идеальным видением будущего.

На временном масштабе в 100 лет я верю, что люди в целом достигнут этого "мягкого слияния." А через 1 миллиард лет наша биология может претерпеть массовую эволюцию, чтобы стать смесью биологии и синтетической технологии. К тому времени мы могли бы терраформировать Марс, даже обосноваться на нескольких планетах и исследовать другие звездные системы.

Более того, в течение 100-летнего временного периода большинство ИИ могут работать в облаках Дайсона или роях Дайсона вокруг Солнца, так как это основной источник энергии, что также снизит энергетическое напряжение и экологический след Земли.

Если ИИ станет чрезвычайно дешевым, мы сможем быстро решить все жизненные проблемы: как технические, так и связанные со здоровьем, могут быть быстро разрешены. Ключевым моментом является обеспечение справедливого доступа для всех к этим технологиям, избегая чрезмерной централизации технологий и ресурсов, так как это приведет к мрачному будущему.

Заключение

Шоу Уолтерс: Я заметил, Виталик, вы подчеркиваете "возможность множественности", в то время как, Гийом, ваше выражение — "максимизация вариации." По сути, кажется, что вы оба говорите об одном и том же, что, похоже, является основной темой нашего будущего развития и основой для многих других перспектив.

Когда вы покинете это место, что бы каждый из вас хотел оставить другому? Какие идеи вы надеетесь, что другой сможет унести с собой и продолжать размышлять и исследовать в будущем?

Виталик Бутерин: Честно говоря, если бы у меня это было с собой прямо сейчас, я бы с удовольствием подарил вам устройство CAT. Это монитор, который обрабатывает данные о качестве воздуха с помощью криптографии, и я думаю, что это действительно круто.

Однако, на данный момент, все, что я могу вам предложить, это символический: считайте это долговой распиской. Более того, мы можем разработать еще более совершенные устройства — потенциально достаточно мощные, чтобы конкурировать с умными браслетами, такими как Fitbit, помогая вам более эффективно управлять своим здоровьем, полностью сохраняя вашу конфиденциальность. Я верю, что вы вскоре получите такое устройство.

Гийом Вердон: Мы определенно продолжим обсуждать эти темы. Если возможно, я хотел бы предложить вам "концептуальную таблетку искусственной жизни" для глубокого размышления. Я имею в виду, что искусственная жизнь в интернете может значительно снизить стоимость интеллекта, создавая таким образом совершенно новую экономику.

Так же, как мы в прошлом передали производство в Китай, чтобы сосредоточиться на более высокоуровневой работе — более легких и эффективных задачах — в будущем многие когнитивные задачи также будут переданы группе, состоящей из ИИ. В конечном итоге эти ИИ могут "жить" в рое Дайсона вокруг солнца и служить человеческому обществу.

Поэтому я верю, что мы находимся в уникальный момент в истории. Криптовалюта имеет потенциал стать "мостом доверия" или "связывающим слоем" между людьми и ИИ.

Ссылка на оригинальное видео