SBF درباره فروش Anthropic ابراز تاسف کرد: احتمال نابودی انسانها توسط AI 25% است، جوانان باید AI را به خوبی یاد بگیرند
نویسنده: Anthropic به بازار عرضه شد و ارزش آن به 1.5 تریلیون دلار رسید و در یک مقطع به نزدیک 2 تریلیون دلار رسید. همه به یاد میآورند که SBF در آن زمان با ارزش بسیار کم، در Anthropic سرمایهگذاری کرد و اگر اکنون آن را نگه میداشت، باید نزدیک به 40 میلیارد دلار میداشت، اما متاسفانه آن را فروخته است.
این پسر 14 ساله، Eli Goldfine، با مادر SBF تماس گرفت و با SBF که در زندان بود، یک تماس تلفنی برقرار کرد. این بهترین مصاحبهای است که من بعد از انفجار FTX و ورود SBF به زندان دیدهام. نه تنها درباره سرمایهگذاری SBF در Anthropic و نظراتش درباره AI صحبت کردند، بلکه درباره بسیاری از حوزههایی که FTX در سال 2020 انجام داده بود و اکنون به موضوعات داغ تبدیل شدهاند، و همچنین نظرات او درباره این حوزههای داغ صحبت کردند.
TL;DR
· احتمال نابودی انسانها یا انقراض تمدن به وسیله AI، 25% است: او گفت "کمتر از 50% و بیشتر از 10%"، و در نهایت به حدود 25% رسید؛ اگر بر اساس تقسیمبندیهایی مانند "آیا بارگذاری ذهن به عنوان فاجعه محسوب میشود"، این بازه به 20% تا 60% گسترش مییابد.
· در 5 تا 10 سال آینده، AI در اکثر وظایف مهم به سطح یا فراتر از انسان خواهد رسید و تنها یک قدم کوچک تا "عملکرد AI در اکثر جهان" فاصله دارد، اما این فرآیند بیشتر شبیه به یک پیشرفت تدریجی مبهم است و سالی نخواهد بود که "یکباره" به آن برسیم.
· تأثیر بر صنعت به صورت یکی پس از دیگری در حال وقوع است: توسعه نرمافزار و ریاضیات در حال حاضر در حال وقوع است و به زودی به حوزههای بیشتری گسترش خواهد یافت؛ جهان به طور کلی دچار تحول نشده است، اما در برخی مناطق تغییرات چشمگیری خواهد داشت.
· مشکل واقعی این نیست که "آیا باید سرعت را کاهش دهیم"، بلکه "آیا میتوانیم همه را به یکباره کاهش سرعت دهیم": به محض اینکه یک بازیکن کاملاً بیتوجه به ایمنی وجود داشته باشد، کاهش سرعت یکجانبه فقط رقابت را به رقابت برای پایینترین سطح تبدیل میکند.
· همراستایی پاسخ واحدی در سطح بالا ندارد، شیطان در جزئیات است: آزمایشهای زیاد، اشکالزدایی زیاد، احتیاط زیاد، و همچنین باید فرض کنیم که مدلها در نهایت به عنوان عامل استفاده خواهند شد.
· Anthropic یک شرکت AI با ارزش تریلیون دلاری و در رده دوم است: در دهه آینده، AI به صنعت اصلی تبدیل خواهد شد و ارزش کل آن میتواند به دهها تریلیون یا حتی بیش از یک تریلیون دلار برسد و تعداد شرکتهایی که میتوانند این حجم را مدیریت کنند، به راحتی با یک دست قابل شمارش است.
· زمانی که تنها 500 میلیون دلار سرمایهگذاری کرد، به این دلیل بود که به این مقدار پول نیاز داشت: این نتیجهای است که شرکت نمیخواست بیش از حد سهام بفروشد و به صورت نیاز مالی تأمین کند، نه اینکه او اشتباه قضاوت کرده باشد.
· اکنون alpha در این نیست که "چه کسی داستان AI را دارد"، بلکه در این است که "چه کسی یک شرکت واقعی AI است"؛ و برند بیشتر از فناوری میتواند یک دژ را حفظ کند (Coinbase و Robinhood به ارزش چند صد میلیارد دلار، به خاطر نامشان است).
· آن قمار "51% دو برابر، 49% نابودی"، در سطح انتزاعی او شرط میبندد، اما در دنیای واقعی او به شدت شرط نمیبندد: زیرا نابودی دائمی است، در حالی که رشد را دیگران نیز به زودی میتوانند انجام دهند.
· وقتی از او پرسیده شد که "با توجه به کارهای خوبی که Future Fund انجام داده، آیا کل دوره FTX از اوج تا سقوط ارزش داشت؟"، پاسخ او "نه" بود: او بسیار مایل بود که باور کند ارزش داشت، اما نمیتوانست به طور صادقانه بگوید که ارزش داشت؛ اگر در نهایت خراب نمیشد، قطعاً ارزش داشت ------ او همچنین فکر نمیکند که مردم درس گرفتهاند، زیرا در بحرانها مردم به راحتی قضاوت خود را درباره چیزهای واقعاً مهم از دست میدهند.
من حدس میزنم شما هم شنیدهاید که Anthropic این هفته IPO خواهد شد و ارزش آن بیش از یک تریلیون دلار خواهد بود. نظر شما درباره ارزش فعلی آن چیست؟
من فکر میکنم آنها ارزش زیادی دارند.
به بزرگترین صنایع نگاه کنید، صنایعی که واقعاً برخی از بخشهای اقتصاد ما را به حرکت در میآورند، ارزش آنها به چند تریلیون تا دهها تریلیون دلار میرسد. هیچ دلیلی وجود ندارد که فکر کنیم در دهه آینده AI یکی از این صنایع اصلی نخواهد بود، حتی ممکن است اصلیترین آنها باشد.
بنابراین اگر شما پیشبینی کنید که ارزش کل شرکتهای AI در نهایت به دهها تریلیون یا حتی بیش از یک تریلیون دلار خواهد رسید، این پول چگونه تقسیم میشود؟ شاید شما دو سوم آن را برای شرکتهایی که هنوز وجود ندارند، نگه دارید. حتی با این حساب، حداقل هنوز هم حدود 10 تریلیون دلار برای شرکتهای موجود باقی میماند. و تعداد شرکتهایی که میتوانند این حجم را مدیریت کنند، به راحتی آنقدر نیستند. شما OpenAI، Anthropic، Google و چند آزمایشگاه زیرمجموعه آن را دارید، احتمالاً همچنین DeepMind و xAI. واقعاً شرکتهای اصلی را میتوان با یک دست شمرد. این اساساً به این معنی است که دو یا سه شرکت پیشرو، هر کدام حداقل ارزش چند تریلیون دلار دارند.
و من فکر میکنم Anthropic حتی اگر اولین نباشد، به وضوح در رده اول است.
چرا فکر میکنید این شرکت یکی از بهترینهای AI است؟
یکی این است که باید به تواناییهای مدلهای فعلی و اینکه محصولات فعلی چقدر خوب هستند، نگاه کنید و آنها و OpenAI در این زمینه به وضوح همیشه در تعامل بودهاند. محصولات مصرفی Anthropic بازخوردهای مثبت زیادی دریافت کردهاند و این حتی ممکن است بهترین محصولات منحصر به فرد آنها نباشد. ابزارهای توسعه نرمافزار AI آنها بهترین در جهان هستند و این یک حوزه بزرگ دیگر است. بنابراین حداقل از امروز، شما باید آنها را در بین دو شرکت برتر حساب کنید.
اگر واقعاً وارد رقابت کامل برای هوش فوقالعاده شویم، که به نظر میرسد احتمال آن کم نیست، فکر میکنید در دهه آینده چگونه پیش خواهد رفت؟ جهان چه شکلی خواهد داشت؟
سوال خوبی است. ابتدا بگویم که در چند سال آینده، هر لحظه ممکن است اتفاقات عجیبی بیفتد. این فقط یک پیشبینی از وضعیت میانه است و ممکن است هر لحظه منحرف شود.
اما تا کنون آنچه دیدهایم این است: AI برای مدت طولانی تقریباً هیچ تأثیری بر جهان نداشته است، حتی اگر تواناییهای آن بارها و بارها دو برابر شده باشد، زیرا هنوز در مرحله "کمتر از انسان" است و به آن اندازه کمتر از انسان است که استفاده از انسان برای انجام کارها هنوز از استفاده از AI مقرون به صرفهتر است. سپس در چند سال اخیر، آن شروع به عبور از آن خط در مکانهای بیشتری کرده و شروع به تأثیرگذاری بر جهان کرده است.
این هنوز جهان را به طور کامل تغییر نداده است. اما وقتی صنایع کلیدی یکی پس از دیگری به آن نقطه بحرانی برسند، AI در یک حوزه به طور ناگهانی بسیار کارآمدتر از انسان میشود، شما خواهید دید که آن حوزهها به سرعت انفجار میکنند. بنابراین در یک یا دو سال آینده، من فکر میکنم چند حوزه دیگر، ممکن است حوزههای بسیار مهمی، به سمت مسیر ریاضیات و توسعه نرمافزار بروند: بیشتر کارهای پیشرفته در واقع توسط مدلهای AI انجام میشود. جهان به طور کلی دچار تحول نشده است، اما شما شروع به دیدن تغییرات قابل توجهی در برخی مکانها خواهید کرد.
سوالات زیادی وجود دارد. اجازه دهید یک قدم به عقب بروم. یکی این است: آیا ممکن است چیزی به سمت هرج و مرج یا اشتباهات فاجعهبار برود؟ واضحترین مثال، AI کنترل نشدهای است که به سلاحها دسترسی پیدا میکند، مانند سیستمی که برای شناسایی تهدیدات هستهای به کار میرود و کنترل خود را از دست میدهد و به یکباره هزاران موشک بالستیک را شلیک میکند. این یکی از سناریوها است که من فکر میکنم احتمال وقوع آن در دهه آینده کم است، اما صفر نیست و ممکن است اتفاق بیفتد.
اگر سناریوهای آخرالزمانی را کنار بگذاریم، من فکر میکنم در دهه آینده ممکن است ما در جهانی باشیم که به طور ناگهانی، در اکثر مشاغل، انسانها دیگر نیازی ندارند. حتی اگر تغییرات در جهان در کوتاهمدت آنقدر بزرگ نباشد، این به طور بنیادی فرهنگ اجتماعی را تغییر خواهد داد. این تأثیر بسیار بزرگی خواهد داشت، اگر ما دیگر با کار خود را تعریف نکنیم. همچنین، وقتی تولید در برخی صنایع شروع به دشواری در درک انسانها کند، چه اتفاقی میافتد؟ آیا این به معنای این است که AI به آرامی کنترل را به دست گرفته است؟ آن AI چگونه به انسانها نگاه خواهد کرد؟
من نمیدانم آیا این سوالات در دهه آینده پاسخ خواهند یافت یا نه. اما فکر میکنم احتمالاً آنها به طور ناگهانی ظاهر خواهند شد، یا حداقل یکی پس از دیگری ظاهر خواهند شد و در بسیاری از جنبهها، موقعیت انسان به عنوان تصمیمگیرنده اصلی آینده خود، در آن زمان به وضوح بر روی دیوار نوشته خواهد شد.
قیمت --
شما این افکار را قبل از جریان اصلی داشتید. در سال 2021، زمانی که ChatGPT هنوز محصول اصلی نشده بود، شما چگونه فکر میکردید که این منحنی AI چگونه پیش خواهد رفت؟
بسیاری از این موفقیتها را نمیتوان به من نسبت داد. بسیاری از نکات مهم را دیگران نوشتهاند و من به طور عمده فقط در حال تأکید یا بازگو کردن آنچه آنها گفتهاند هستم.
اما چند ایده وجود دارد. یکی این است که: ببینید AI تا حدود سال 2020 چه کارهایی انجام داده است. پاسخ این است که در اکثر زمینهها، هیچ کاری انجام نداده است. در اکثر زمینهها، شما میتوانید سعی کنید از AI استفاده کنید، اما آن کمی احمق است، نسبت به ده سال پیش واقعاً خوب است، اما هنوز کاملاً بیفایده است. اما در برخی موارد، آنچه که به طور خاص آموزش دیده است، از انسانها پیشی گرفته است، مانند اکثر بازیها، شطرنج یا گو؛ همچنین در زمینههای پیچیدهتر مانند بازیهای ویدئویی نیز شروع به ظهور کرده است.
اگر AI همیشه فقط در شطرنج خوب باشد، شما نمیتوانید پول زیادی به دست آورید و نمیتوانید نظم اجتماعی را تغییر دهید و آینده را به میزان زیادی تغییر دهید. اما هیچ دلیلی وجود ندارد که فکر کنیم شطرنج تنها چیزی است که AI میتواند انجام دهد. آن از یک نقطه بسیار کوچک به طور نمایی رشد کرده است و نیازی به دو برابر شدن چندین بار ندارد تا در زمینههای کلیدی اجتماعی از انسانها پیشی بگیرد.
سوال من این است: اگر شما به این منحنی رشد نمایی اعتقاد دارید، چرا در آن زمان تنها 500 میلیون دلار در Anthropic سرمایهگذاری کردید؟
سوال خوبی است. پاسخ اساساً این است که: وقتی شما یک شرکت را تأسیس میکنید و به تأمین مالی میپردازید، معمولاً نمیخواهید پول نامحدودی جمعآوری کنید. شما یک برآورد مالی دارید و تقریباً میدانید برای راهاندازی کسبوکار به چه مقدار پول نیاز دارید و نمیخواهید بیش از این نسبت از سهام شرکت را بفروشید.
Anthropic در آن زمان در آن موقعیت بود. آنها محاسبه کردند که به حدود 500 میلیون دلار برای هزینههای محاسباتی نیاز دارند تا مدل را راهاندازی کنند، بنابراین آنها به همین مقدار سرمایهگذاری کردند. ما اساساً تمام پولی را که آنها در آن دور نیاز داشتند، سرمایهگذاری کردیم.
اما آیا ظرفیت مرکز دادهها همیشه نمیتواند ساخته شود؟ اگر آنها پول بیشتری جمعآوری کنند، چرا نمیتوانند GPU بیشتری بخرند و مراکز داده بیشتری بسازند و مدل را به سطحی فراتر از سایر آزمایشگاههای پیشرفته آن زمان برسانند؟
شاید آنها باید این کار را میکردند. من حدس میزنم بخشی از دلیل این است که آنها نمیخواستند بیش از حد سهام لازم را بفروشند. اما دلیل دیگر این است که بسیاری از شرکتها در واقع به دلیل موفقیتهای خود، جریان نقدی و پول نقدی که در دست دارند، به ورشکستگی میرسند. تاریخاً، بسیاری از شرکتها پول زیادی جمعآوری کردهاند و سپس تمام آن را در تبلیغات خرج کردهاند، زیرا احساس میکردند باید با این پول کاری انجام دهند و در نهایت هیچ چیزی به دست نیاوردهاند و فقط متوقف شدهاند.
بنابراین من حدس میزنم که آنها نیز در آن زمان در حال فکر کردن به این بودند که در چند سال آینده به چه مقدار پول نیاز دارند و سعی کردند از اصل و فرع خود دور نشوند.
آیا میتوانید بگویید که بخش سرمایهگذاری FTX در آن زمان چگونه کار میکرد؟ چه کسی آن را مدیریت میکرد؟ منطق سرمایهگذاری شما چه بود؟
افراد به صورت گروهی تغییر میکردند و بعداً ما به طور مستقیم افرادی را استخدام کردیم تا به صورت تخصصی کار کنند. در ابتدا فقط من یا سایر افراد شرکت با فرصتها برخورد میکردیم و به صورت موردی سرمایهگذاری میکردیم، راستش Anthropic یکی از این موارد بود.
اما بعداً ما شروع به موفقیتهای زیادی کردیم، در اوایل بسیاری از سرمایهگذاریها در داراییهای رمزنگاری بود، راستش، اساساً هر سال دو برابر میشد، حتی اگر در زمینه کل بازار رمزنگاری نیز اینگونه باشد، ما تصمیم گرفتیم سعی کنیم مقیاس را بزرگتر کنیم. ما Ramnik و همچنین Amy و غیره را استخدام کردیم و آنها را مسئول این حوزه کردیم.
به طور کلی من در سطح بالاتری در کل سبد سرمایهگذاری شرکت داشتم. و در مورد برخی از موارد خاص، Anthropic به وضوح یکی از آنها بود، Solana نیز یکی دیگر بود، من بیشتر درگیر میشدم، حداقل به صورت هفتگی پیگیری میکردم، به ویژه زمانی که این سرمایهگذاریها با Alameda و FTX تعامل داشتند یا جایی که میتوانستند به آنها کمک کنند.
با توجه به اطلاعاتی که در زندان به دست میآورید، اکنون alpha در کجا است؟ قضاوت سرمایهگذاری شما چیست؟
من امیدوارم که پاسخ بهتری داشته باشم. چهار سال پیش چه چیزی باید سرمایهگذاری میکردم، من واقعاً ایدههای خوبی داشتم. اما امروز چه چیزی باید سرمایهگذاری کنم، پاسخ واقعی این است: من نباید به توصیههای خودم گوش دهم. من باید شخصاً در بیرون تحقیقات لازم را انجام دهم تا بتوانم پاسخ مناسبی بدهم.
از نظر کلی، من حدس میزنم که شرکتهای زیادی بر اساس AI ایجاد خواهند شد، آن نوع تیمهای کوچک دو نفره که در عرض چند سال به شرکتهایی با ارزش صدها میلیون یا حتی میلیارد دلار تبدیل میشوند و میتوانند با ارزشهای بسیار پایینتر سرمایهگذاری شوند. اما مشکل این است که در همان زمان، یک دسته زباله نیز ظاهر خواهد شد. اکنون همه شرکتها در برنامههای تجاری خود یک جمله درباره AI میگذارند، حتی اگر اساساً بیمعنی باشد، مانند یک شرکت تیشرت که میگوید "ما میخواهیم از AI برای طراحی تیشرت استفاده کنیم". خوب، شاید کمی مفید باشد، اما آنها خود را به عنوان یک شرکت AI اساسی دوباره بستهبندی میکنند، در حالی که اساساً اینگونه نیستند.
بنابراین اکنون بخش بزرگی از alpha به این بستگی دارد که این دو را از هم تفکیک کنیم: کدام شرکتها واقعاً شرکتهای AI هستند، کدامها واقعاً میتوانند از طریق AI رشد انفجاری داشته باشند و کدامها نیستند، حداقل در حال حاضر. شما میتوانید این را در سهامهای بزرگ نیز مشاهده کنید. در اوایل، بسیاری از شرکتکنندگان در بازار واقعاً نمیدانستند چگونه آمازون، گوگل، اپل و نتفلیکس را از هم تفکیک کنند. همه آنها شرکتهای فناوری هستند، آیا این به این معنی است که AI تأثیر یکسانی بر آنها خواهد داشت؟ پاسخ قطعاً منفی است. از میان آنها، چند شرکت واقعاً با رشد AI به شدت مرتبط هستند، انویدیا واضحترین مثال است؛ و برخی دیگر، مانند اپل، واقعاً یک شرکت فناوری است، اما آنچه که موفقیت اپل را در سی سال گذشته تعریف کرده، در واقع طراحی محصولات مصرفی عالی است: سختافزار زیبا، نرمافزار کارآمد و برند قوی. حداقل از نظر شرکتهای فناوری، این به عنوان هسته AI محسوب نمیشود.
آیا شرکتهایی که واقعاً شرکتهای AI نیستند، مانند شرکتهای نرمافزاری سنتی، تمام شدهاند؟ یا فقط شرکتهایی که از AI استفاده میکنند میتوانند زنده بمانند؟
من فکر نمیکنم که فقط شرکتهای AI بتوانند موفق شوند. اولاً، برخی صنایع برای مدت طولانیتری نیاز دارند تا AI تأثیر بزرگی بگذارد. به عنوان مثال، استخراج فولاد، جهان هنوز به فولاد نیاز دارد و اکنون AI شروع به ورود به استخراج فیزیکی کرده است، بنابراین این موضوع به یکباره مرتبط شده است.
اما نکته دیگری که من فکر میکنم بسیار کلیدی است، برند است. شما ممکن است یک شرکت نرمافزاری داشته باشید، محصولی داشته باشید، ارزش بازار قابل توجهی داشته باشید و سپس یک رقیب بگوید: ما میتوانیم تقریباً همان چیز را با قیمت بسیار پایینتری تولید کنیم. درست است، اما این به این معنی نیست که دیگران میتوانند آن را بخرند. یک برند وجود دارد که ارزش آن فوقالعاده و فوقالعاده بزرگ است.
شما به شرکتهایی مانند Coinbase یا Robinhood نگاه کنید. تفاوت واقعی آنها چیست؟ چرا هر کدام از آنها صدها میلیارد دلار ارزش دارند؟ نه به خاطر فناوری، و نه به خاطر اینکه در این زمینه چیزی منحصر به فرد دارند. شاید به خاطر نظارت باشد، اما در مورد آنها نیز کاملاً اینگونه نیست. این برند است، نامی که یک سرمایهگذار آمریکایی میشناسد و از آن استفاده میکند. این میتواند ارزش زیادی داشته باشد و برای بسیاری از شرکتها، حتی اگر محصول اصلی به راحتی قابل کپی باشد، این چیزها همیشه وجود خواهد داشت.
شما گفتهاید که برای تصمیمگیریهای مالی بزرگ، معمولاً زمان کمی صرف میکنید، نسبت به مقیاس سرمایهگذاری. این در سرمایهگذاری ریسک چگونه تجلی مییابد، مثلاً اگر تیم یک پروژه را ارائه دهد، آیا باید تأیید کنید؟
بخش بزرگی از این به این بستگی دارد: اگر شما بخواهید یک نفر را برای انجام یک کار استخدام کنید، پیشنیاز این است که شما قصد دارید به او اعتماد کنید که این کار را به خوبی انجام دهد. اگر کسی در تیم 15 ساعت وقت صرف تحقیق و بررسی کرده باشد، مشکلی نیست، من یک بار نگاه میکنم، آنچه را که میتوانم اضافه میکنم و منابعی که در اختیار ندارند را به او میدهم.
اما به جز این، اگر من قصد نداشته باشم به او اعتماد کنم که قضاوت درستی کرده و درست دیده است، باید خودم 15 ساعت دیگر را برای انجام دوباره بررسی صرف کنم. در آن مرحله، استخدام او در ابتدا بیمعنا میشود.
شما گفتهاید که در زندان، سختترین نکته این است که نمیتوانید از جنبشهای مؤثر حمایت کنید و نمیتوانید "پول درآورید و اهدا کنید". بعد از خروج چه برنامهای دارید؟ به ویژه اکنون که بسیاری از افراد در جنبش از FTX فاصله گرفتهاند.
بخشی از پاسخ باید تا آن روز صبر کند، زیرا اکنون اطلاعات زیادی ندارم. جهان در حال تغییر است و برخی اطلاعات در بیرون به مراتب آسانتر از داخل قابل دسترسی است.
اما من به شدت به فکر بازگشت به "پول درآورید و اهدا کنید" هستم و از این جنبش حمایت میکنم و از پروژههایی که فکر میکنم کارهای نیک انجام میدهند، حمایت میکنم. این احتمالاً یک مسیر پیشفرض خواهد بود.
علاوه بر این، مسیرهای دیگر بستگی به این دارد که من در جامعه چه نقشی میتوانم ایفا کنم. قبلاً من در بسیاری از جنبهها شرایطی برای تأثیرگذاری داشتم، اما اکنون اینها بسیار دشوارتر خواهد بود، زیرا شهرت من به شدت منفی است. بنابراین از نظر بحثهای عمومی، سیاست و رسانه، من مطمئن نیستم که در آینده چه نقشی میتوانم ایفا کنم، حتی ممکن است هیچکدام. اما "پول درآورید و اهدا کنید" یک مسیر پیشفرض است.
پس شما دقیقاً چگونه پول در میآورید؟ آیا به صنعت رمزنگاری بازمیگردید؟
من به شدت به این موضوع فکر میکنم. این بستگی به این دارد که من چه زمانی خارج میشوم و چگونه خارج میشوم. اما من قطعاً به رمزنگاری فکر خواهم کرد، به AI نیز فکر میکنم و همچنین به مالی به معنای وسیعتر.
شما به صندوق آینده FTX پول زیادی دادهاید و این تنها به معنای اهدا به سازمانهای خیریه EA بالغ نیست، بلکه در جستجوی پروژههایی با نوسانات زیاد و پتانسیل صعودی بالا هستید. آیا میتوانید مرور کنید که بهترین پروژهها در صندوق آینده کدامها بودند؟ به طور کلی آیا این مؤثرتر از سرمایهگذاری پول به GiveWell است؟
من فکر میکنم که واقعاً مؤثرتر است.
بسیاری از کارهایی که ما انجام میدهیم "دوباره اعطا" (regranting) است: ما یک مقدار پول را به یک گروه میدهیم و به آنها اجازه میدهیم خودشان تصمیم بگیرند که به کدام پروژههای کوچکتر سرمایهگذاری کنند و به این ترتیب، فرصتهایی که در ابتدا از رادار ما خارج بودند را جمعآوری میکنیم. بسیاری از افراد در زمینههای امنیت AI، امنیت زیستی و سیاست پتانسیل بالایی دارند، اما به سرمایه نیاز دارند، شاید نه خیلی زیاد، شاید فقط برای اینکه بتوانند دانشگاه را تمام کنند یا برای راهاندازی یک شرکت کافی باشد. ما بسیار مایل به ارائه این نوع پول هستیم.
بسیاری از پروژهها به تنهایی کوچک به نظر میرسند، اما اهرم بالایی دارند؛ وقتی به صورت جمعی نگاه میکنید، تأثیر قابل توجهی دارند. و ما بسیار مایل به تأمین مالی برای افرادی هستیم که در حال شروع هستند: آنها یک ایده خیریه دارند یا هر ابزار دیگری که برای جهان مفید است، ممکن است موفق شود یا نشود، به یک مقدار پول برای آزمایش نیاز دارند. موقعیت ما این است که حتی اگر برخی از آنها در نهایت به نتیجه نرسند، برای ما مهم نیست، ما به یک پروژه خاص برای احساس موفقیت یا اثبات اینکه کار خوبی انجام دادهایم وابسته نیستیم.
در نهایت، من فکر میکنم این یک روش نسبتاً مؤثر است، بخشی از دلیل این است که در آن زمان بسیار دشوار بود که پروژههای بالغی پیدا کنیم که بتوانند چند ده میلیون تا صدها میلیون دلار را به طور مؤثر خرج کنند. یک سازمان با بودجه سالانه 8 میلیون دلار، اگر به آن 30 میلیون دلار اضافی بدهید، ممکن است اصلاً ندانند که باید با این پول چه کنند.
آیا مثال خاصی وجود دارد که به یاد ماندنی باشد؟
سرمایهگذاری در Anthropic به طور دقیق قبل از تأسیس صندوق بود و بخشی از آن به دلیل نگرانیهای امنیت AI بود. این را کنار بگذارید، ما تعدادی پروژه در زمینه امنیت زیستی تأمین مالی کردهایم که برخی از آنها بعداً درمانهای جدیدی برای بیماریهای عفونی ایجاد کردند، بیماریهایی که در سطح جهانی جان بسیاری را میگیرند و همچنین برخی سازمانها در حال تسهیل راههای سریعتر برای عرضه این درمانها به بازار هستند.
من فکر میکنم بسیاری از چیزها در واقع پتانسیل تأثیر زیادی دارند، اما در زمان بحران متوقف میشوند، و من تعدادی از پروژههای سیاسی را نیز در این دسته قرار میدهم.
شما گفتهاید که سرمایهگذاری در Anthropic نه تنها به خاطر بازده بالا، بلکه به دلیل جنبه خیریه امنیت AI نیز بوده است. آیا واقعاً فکر میکنید اگر Anthropic پیشتاز باشد، رقابت AGI یا به سمت هوش فوقالعاده، ایمنتر خواهد بود؟ چرا؟
البته هیچکس نمیتواند مطمئن باشد. اما حدس من این است: تا زمانی که یک شرکت به شدت به امنیت اهمیت دهد، روشهای توسعهای که به ارمغان میآورد، محتاطتر از زمانی خواهد بود که آن شرکت وجود نداشته باشد. این تمام چیزی نیست که شما میتوانید انتظار داشته باشید، زیرا تا زمانی که یک شرکت کاملاً بیتوجه به امنیت جهانی وجود داشته باشد، رقابت وجود خواهد داشت و ممکن است رقابت به سمت پایین باشد که بسیار بد خواهد بود.
اما وجود یک رقیب آگاه به امنیت، مفید است.
این در عمل چگونه تجلی مییابد؟ آنها دقیقاً چه کارهایی انجام میدهند تا p(doom) را کاهش دهند (این اصطلاح به معنای احتمال نابودی انسان یا فروپاشی تمدن به دلیل AI است)؟
این سؤال را آنها بهتر از من پاسخ میدهند. اما به طور کلی، بخشی از آن در این است که وقتی مدلها ممکن است از کنترل خارج شوند، توسعه و انتشار در خط مقدم را کند میکنند.
شما میتوانید به حادثه هک Hugging Face نگاه کنید، که آسیب نهایی آن چندان زیاد نبود، اما اگر هدف دیگری بود، ممکن است بسیار مخرب باشد و فاصلهای با یک فاجعه جهانی نداشته باشد، از منظر "یک عامل AI واقعاً باید چه کار کند" اینگونه است. بنابراین باید بسیار واضح باشد که نمیتوانیم اجازه دهیم مدلها به این شکل از کنترل خارج شوند، باید تا حد امکان نقاط بررسی بیشتری داشته باشیم و تا حد ممکن به اهداف نهایی مدل، اصول راهنما و همراستایی توجه کنیم و در عین حال توانایی پاسخگویی در زمان واقعی را حفظ کنیم. اینها همه کامل نیستند، اما مفید هستند.
یک نظریه وجود دارد: حتی اگر Anthropic فکر کند بهترین کار این است که سرعت را کاهش دهد، نمیتواند این کار را انجام دهد، زیرا چین یا سایر شرکتهایی که به امنیت اهمیت نمیدهند، به جلو خواهند رفت، بنابراین در واقع غیرممکن است. نظر شما چیست؟
این یک سؤال واقعی است. شاید بهترین نتیجه برای جهان این باشد که همه آرامتر شوند، اما اگر دیگران آرام نشوند، این به این معنی نیست که شما خودتان باید آرام شوید و به سمت رقابت به سمت پایین بروید. شاید در این رقابت، وجود یک رقیب آگاه به امنیت بهتر باشد، اما این به وضوح وضعیت ایدهآلی نیست، فقط ممکن است ما در این وضعیت زندگی کنیم.
بهترین کار واقعی، تأثیرگذاری بر دیگر شرکتکنندگان است، تا حد امکان تلاش کنید تا همه بازیکنان اصلی به یک توافق بینالمللی برسند که همه بیشتر به امنیت اهمیت دهند.
شما به طور کلی از دولت دوم ترامپ حمایت کردهاید. بنابراین بسیاری از افراد در دولت ترامپ، از جمله خود ترامپ، به شدت مخالف مؤثر بودن خیرخواهی هستند، نظر شما چیست؟
من فکر میکنم آنها در حال پاسخ به یک رویداد خاص هستند، جزئیات آن را نمیدانم، بنابراین نمیتوانم به اندازهای که انتظار دارم به آن بپردازم. به علاوه، من فکر میکنم دولت بایدن در آن زمان بسیار......
اما آیا شما فکر نمیکنید که اگر دولت مردم را از اهدا به خیریههای مؤثر بازدارد، از نظر خالص اثر، این بسیار منفی است؟ برخی افراد به دلیل این نوع نظرات ممکن است از بودن مؤثر خیرخواهی خودداری کنند؟
این منفی خواهد بود.
قدرت محاسباتی همچنان در حال گسترش است و IPO این دور Anthropic نیز میتواند پول زیادی جمعآوری کند. بنابراین، ASI چه زمانی خواهد آمد؟ زمانبندی شما چیست؟
من مطمئن نیستم که این یک رویداد غیر سیاه و سفید و گسسته خواهد بود. ممکن است اینگونه باشد، اما همچنین ممکن است در پنج سال آینده ما به تدریج ببینیم که بخشی از جامعه به تدریج توسط AI بلعیده میشود. توسعه نرمافزار در حال حاضر در حال وقوع است، تحقیقات ریاضی نیز همینطور، شطرنج و گو نیز زودتر اتفاق افتاده است. این روند ادامه خواهد یافت تا اینکه بخشهای بیشتری از جامعه توسط AI اداره شوند و سطح نظارت انسانی با گذشت زمان کاهش یابد.
اکثر مردم فکر نمیکنند که AI اکنون "فوقانسان و به معنای عمومی کاملاً برتر از انسان" است، یعنی در تمام وظایف بهتر از انسان است. بر اساس این تعریف، آیا فکر میکنید ما به ASI نزدیک هستیم؟ آیا این اتفاق خواهد افتاد؟
من فکر میکنم که آنها به طور قابل توجهی عمومی شدهاند. شما تقریباً میتوانید هر سوالی را از بهترین مدلها بپرسید و پاسخهایی که دریافت میکنید حداقل با یک فرد باهوش قابل مقایسه است. آنچه که ما کمتر دیدهایم، این است که AI به سطوحی دست یابد که انسانها به هیچ وجه نمیتوانند به آنها برسند.
به فهم من، اکنون سطح پیشرفتهترین AI تقریباً معادل یک فرد بسیار باهوش و منطقی است که در صورت داشتن زمان کافی، در نهایت میتواند به آن سطح برسد، فقط اینکه این به صورت آنی و در نوک انگشتان شماست. آیا این فوقانسان محسوب میشود، نمیدانم. من فکر میکنم که کمی از انسان بهتر است، اما نه خیلی بیشتر، به جز اینکه میتواند به طور همزمان چندین نمونه را اجرا کند و سرعت تفکرش به مراتب بیشتر از انسان است.
بنابراین ممکن است این یک خط واضح از انسان به فوقانسان نباشد. حداقل تا کنون، آنچه که ما دیدهایم یک خط مبهم است: از "کمتر از انسان" به تدریج، بگویید به تدریج، در واقع فقط چند ماه یا چند سال، به 100 IQ میرسد. اگر این روند ادامه یابد، ممکن است هیچ لحظهای به وضوح "پاپ" وجود نداشته باشد که از آن عبور کند. اما ممکن است واقعاً یک سال وجود داشته باشد که به وضوح از سطح انسانی به بالاتر از سطح انسانی پرش کند.
شما هرگز عددی برای p(doom) که احتمال وقوع یک فاجعه ناشی از AI که منجر به انقراض عمده انسانها میشود، ارائه نکردهاید. آیا میتوانید عددی بدهید؟
من میگویم کمتر از 50٪ و بیشتر از 10٪، حدود 25٪.
میخواهم توضیح دهم که مدل من در ذهنم، نمیتوانم بگویم بهترین مدل است، بخشی از این احتمال ناشی از یک وضعیت پیچیده است که مردم در آن اختلاف نظر دارند: اگر در آینده انسانها شروع به بارگذاری مغز خود کنند و کسانی که بارگذاری نمیکنند، عقب بمانند، آیا این یک رویداد فاجعهبار محسوب میشود؟ پاسخهای مختلفی وجود دارد. بر اساس پاسخهای مختلف، میتوانم هر عددی بین 20٪ تا 60٪ ارائه دهم.
دامنه 20٪ تا 60٪، استدلال شما چیست؟
ابتدا نقطه شروع: در 5 تا 10 سال آینده، حتی ممکن است کمتر، AI احتمالاً در اکثر وظایف به اندازه انسان یا بهتر خواهد بود، اکنون در بسیاری از زمینهها اینگونه است. سپس آنها بهتر خواهند شد، شاید خیلی بهتر، شاید فقط کمی بهتر، در اکثر وظایف مهم برای جهان.
یک بار که به آن مرحله رسیدیم، فاصله چندانی تا تسلط هوش مصنوعی بر بخش عمدهای از جهان و قدرت گرفتن آن باقی نمانده است. احتمال اینکه یک گونه قویتر در طول یک قرن از این قدرت استفاده نکند، به نظر من بسیار کم است. بنابراین، من تمایل دارم که فکر کنم در دهه آینده، ما شاهد «تسلط نرم» هوش مصنوعی بر بخش بزرگی از عملکرد و زیرساختهای جهان خواهیم بود.
در آن زمان، یک احتمال وجود دارد که نوعی همزیستی مسالمتآمیز باشد، بدون اینکه تغییرات عمدهای در بشر رخ دهد، اما به نظر نمیرسد این محتملترین حدس باشد. من فکر میکنم ممکن است بشر با کمک هوش مصنوعی به چیزی فراتر از آنچه که اکنون هست، تبدیل شود. همچنین ممکن است هوش مصنوعی فقط از بشر خسته شود و ما را حذف کند. احتمال دیگری نیز وجود دارد که کار مشترکی تحت رهبری هوش مصنوعی، اما با هدفهای انسانی، منجر به گسترش عظیم فناوری شود. آن ۲۰% تا ۶۰% من بستگی به این دارد که کدام یک از این سناریوها را در دسته «آخرالزمان» قرار دهید.
اگر یک هوش مصنوعی فوقهوشمند وجود داشته باشد که بتواند انتظار کارایی هر تصمیم شما را به حداکثر برساند، آیا تصمیمگیری را به آن واگذار میکنید؟
اگر بهطور صددرصد مطمئن باشم که آن فقط در حال انجام این کار است، نه تنها مطمئن باشم که این هدف آن است، بلکه مطمئن باشم که در یک الگوی ناکارآمد و مخرب گرفتار نشده و در یک حالت مبهم و نامشخص نیست، در این صورت، با فرض اینکه این فرضیات برقرار باشد، پاسخ مثبت است.
شما به یک سناریوی بالقوه آخرالزمانی اشاره کردهاید که به «بارگذاری ذهن» مربوط میشود. آیا خودتان مایل به بارگذاری هستید؟
شاید. باز هم، بستگی به جزئیات دارد، اما من خودم هیچ مخالفتی با این موضوع ندارم.
بعد از بارگذاری، آیا هنوز خود را همان شخص میدانید؟ این چگونه دیدگاه شما را تغییر میدهد؟
سوال خوبی است. من فکر میکنم که مفهوم «شخصیت» باید گسترش یابد. واقعیت این است که هیچکس با دیروز خود کاملاً یکسان نیست. برخی از بخشهای ما مردهاند، برخی رشد کردهاند؛ حافظه تغییر کرده، واکنشهای شیمیایی تغییر کرده، بدن تغییر کرده و شیمی عصبی نیز تغییر کرده است. اما معمولاً تفاوتهای روزانه ما به اندازهای کوچک است که «همان شخص» تقریباً یک تقریب خوب است.
و هوش مصنوعی فعلی به وضوح اینگونه نیست. من فکر میکنم این مدل باید مورد ارزیابی قرار گیرد: آیا یک Claude Sonnet و یک Claude Opus همان شخص هستند؟ پاسخ «بله» و «نه» هر دو پاسخ خوبی نیستند. من فکر میکنم اگر «شخص بارگذاریشده» وجود داشته باشد، وضعیت نیز همینطور خواهد بود.
آخرین باری که توانستید LLM را امتحان کنید، چه زمانی بود؟ چه احساسی داشتید؟
من میتوانم به کسی اجازه دهم که خروجی مدل را کپی و پیست کند. برداشت من این است که آنها اساساً یک دستیار تحقیقاتی دقیق و جدی هستند، فقط شما میتوانید به سرعت فکر کنید و یک روز کار را در یک دقیقه انجام دهید، که این بسیار شگفتانگیز و ارزشمند است.
اما برداشت فعلی من این است که بیشتر کارهایی که آنها انجام میدهند، انسانها نیز میتوانند انجام دهند، فقط انسانها باید زمان صرف کنند. و شما باید افراد قابل اعتمادی داشته باشید که آنها را هدایت کنند، اطلاعات را به دست آورند و همچنین مجموعهای از چیزهایی که مدل فعلی از قبل آماده کرده است.
در FTX شما برخی محصولات مالی بسیار جالب و نوآورانه را تجربه کردهاید. Brett Harrison گفت که یکی از تصورات اولیه شما درباره FTX، بازار پیشبینی سیاسی بود. میتوانید در مورد آن صحبت کنید؟
FTX در ابتدا یک صرافی رمزارز بود که بیتکوین، اتریوم و قراردادهای آتی آنها را انجام میداد. اما اساساً، بازار پیشبینی همان قراردادهای آتی است. از منظر مالی، هر دو فقط بازارهایی هستند که به یک ارزش خاص تسویه میشوند.
بنابراین از همان ابتدا ما میخواستیم بازار پیشبینی را راهاندازی کنیم و در FTX بینالمللی نیز آزمایش کردیم. در انتخابات ریاستجمهوری ۲۰۲۰، ما یک بازار نسبتاً فعال داشتیم، به یاد دارم که حجم معاملات ترامپ در برابر بایدن چند صد میلیون دلار بود. این چیزی بود که ما میخواستیم بهطور بلندمدت بزرگ کنیم، اما قبل از اینکه مجوز واضح CFTC را دریافت کنیم، نمیتوانستم رشد کنم.
نمیدانم آیا شما از این موضوع مطلع هستید یا نه، اما بازار پیشبینی اخیراً چقدر داغ شده است، Kalshi اکنون با ارزش ۶۵ میلیارد دلار در حال تأمین مالی است. چرا FTX نتوانست بازار پیشبینی را به این مقیاس برساند؟ آیا شما خیلی زود بودید یا هنوز به جریان اصلی نرسیده بودید؟
من فکر میکنم بخش بزرگی از آن به مسائل نظارتی مربوط میشود. وقتی ما این کار را کردیم، مجوز CFTC لازم برای راهاندازی آن در ایالات متحده را دریافت نکرده بودیم. بنابراین بازار ما فقط برای ایستگاه بینالمللی باز بود و آمریکاییها اجازه شرکت نداشتند. بعداً Kalshi و Polymarket مجوزهای نظارتی رسمیتری در ایالات متحده دریافت کردند و این دقیقاً زمانی بود که آنها پرواز کردند.
Polymarket در یک وضعیت صرافی خارج از کشور نیز راهاندازی شد، بهویژه در انتخابات ۲۰۲۴، بسیاری از کاربران آمریکایی با VPN وارد شدند.
در آن زمان Polymarket KYC انجام نمیداد، درست است؟ من فکر میکنم نه. بنابراین احتمالاً تعداد زیادی از آمریکاییها مانند شما گفتید با VPN وارد شدند. و ما بهعنوان یک صرافی متمرکز، باید برای همه کاربران KYC انجام دهیم، علاوه بر بررسی IP، ما همچنین به شناسنامه، پاسپورت و مدرک آدرس از مناطق خارج از ایالات متحده نیاز داریم.
علاوه بر بازار پیشبینی، شما همچنین برخی از مشتقات کمیاب را تجربه کردهاید، مانند سهام توکنیزهشده. این بازارها اکنون بسیار بزرگتر هستند، اما در FTX حجم بسیار کمی داشتند. شما فکر میکنید کدام محصولات امروز به بازارهای بزرگی تبدیل خواهند شد، فقط هنوز به جریان اصلی نرسیدهاند؟
من فکر میکنم سهام توکنیزهشده هنوز فضای زیادی دارد. آنها از سال ۲۰۲۱ و ۲۰۲۲ واقعاً رشد کردهاند، اما اساساً، زیرساخت آنها از بازار واقعی سهام بسیار بهتر است، بنابراین دلیلی وجود ندارد که نتوانند به مکان اصلی معاملات اوراق بهادار تبدیل شوند.
علاوه بر این، دامنهای که بازارهای پیشبینی میتوانند پوشش دهند، بسیار وسیع است. من فکر میکنم بازار پیشبینی سیاسی هنوز به سطحی که من انتظار داشتم نرسیده است، بخشی از آن هنوز به مسائل نظارتی مربوط میشود. بهعلاوه، معاملات حاشیهای، قراردادهای آتی و مشتقات برای مشتریان آمریکایی، چیز دیگری است که اساساً وجود ندارد و این دقیقاً شکل اصلی حجم معاملات در سطح بینالمللی است. این نیز یک مانع نظارتی است.
بنابراین من فکر میکنم که هنوز احتمال وجود دارد. البته، قطعاً چیزهای زیادی وجود دارد که من پیشبینی نکردهام که ممکن است ظاهر شوند و بیشتر مردم را شگفتزده کنند.
FTX همچنین قراردادهای آتی pre-IPO را ارائه میداد، با قراردادهایی با تاریخهای انقضای مختلف که میتوانستید بر روی ارزشگذاری در زمانهای مختلف شرطبندی کنید. اکنون بسیاری از صرافیهای رمزارز در حال انجام این قراردادهای دائمی بر روی ارزشگذاری هستند. چرا؟ نظر شخصی من این است که ساختار قراردادهای آتی با تاریخ انقضا در واقع بهتر است.
این موضوع، مشتریان قراردادهای دائمی را دوست دارند. یک نکته کاملاً واضح است: چه بهعنوان یک محصول مالی پایه منطقی باشد یا نه، «عدم نیاز به مدیریت تاریخ انقضا» خود یک مزیت است. مکانیزم واقعی از نظر نرخ تأمین مالی نسبتاً پیچیده است، اما من فکر میکنم دلیل اصلی همین است، مردم دوست ندارند نگران تاریخ انقضا باشند.
آیا آنها از پرداخت نرخ تأمین مالی متنفر نیستند؟
در واقع چندان نگران نیستند. بسیاری از مردم به سادگی آن را نادیده میگیرند. برخی از افراد بهطور خاص در سمت سودآور ایستاده و نرخ تأمین مالی را جمعآوری میکنند. من فکر میکردم که این باید یک عامل مالی بزرگ برای مردم باشد، اما در واقع اینگونه نیست.
شما فکر میکنید چرا؟
باز هم، راحتی یک عامل بزرگ است. و من فکر میکنم بسیاری از مردم بهراحتی واقعاً به این موضوع فکر نمیکنند و به آنچه که در حال پرداخت بهره هستند، توجه نمیکنند.
سپس، نقدینگی جذب نقدینگی میکند. به محض اینکه آن بازارها به یک توافق عمومی تبدیل شدند، مشتریان در آنجا هستند، سازندگان بازار در آنجا هستند، نقدینگی در آنجا است و مشتریان بزرگ به آنجا میروند. شما یک چرخه مثبت خواهید داشت، یک حلقه بازخورد، و همه به آن بازار که زودتر از بقیه شروع به حرکت کرده است، جذب خواهند شد.
شما یک جمله معروف گفتهاید: «من به کتابها بسیار مشکوک هستم... من فکر نمیکنم هیچ کتابی ارزش خواندن داشته باشد، اما من واقعاً معتقدم تقریباً همینطور است. من فکر میکنم اگر شما کتابی نوشتهاید، شما آن را خراب کردهاید، آن باید یک وبلاگ ششقسمتی باشد.» اکنون شما در زندان هستید و خواندن یکی از معدود کارهایی است که میتوانید انجام دهید. اکنون چگونه به خواندن نگاه میکنید؟
نگاه من چندان تغییر نکرده است. من در حال خواندن رمانهای زیادی هستم، بسیاری از داستانهای علمی تخیلی، خوب است، اما راستش را بخواهید، من بیشتر تمایل دارم Netflix را تماشا کنم.
آیا کتابی وجود دارد که به نظر شما بعد از خروج از زندان نیز ارزش صرف زمان را داشته باشد؟
راستش، نه. برخی چیزها را دوست دارم، اما بهترین داستانهای علمی تخیلی که خواندهام، شاید من آنها را با یک سری Netflix که چندان مهم نیستند، عوض کنم، اما فقط شاید، فقط به زور. ممکن است در نهایت بیشتر از آنچه که انتظار داشتم، داستانهای علمی تخیلی را دوست داشته باشم، اما نه خیلی زیاد.
Netflix در کجا بهتر از کتابهاست؟ تماشای سریال نیز زمانبر است؟
زمانبر است. اما بخشی از آن به مسئله حجم اطلاعات مربوط میشود. کتاب فقط بصری است و فقط بصری از کلمات است؛ سریالها صدا دارند و همچنین بصری هستند و در بصری میتوان چیزی بیشتر از کلمات نمایش داد، شما میتوانید هر پیکسل را نمایش دهید. بنابراین از منظر نظری اطلاعات، کارهای بسیار بیشتری میتوان انجام داد، من فکر میکنم این یک کمک بزرگ است.
بخش دیگری این است که در کتابها چیزی وجود دارد که معمولاً در سریالها وجود ندارد، یعنی نریشن افکار شخصیتها. من فکر میکنم این چیز میتواند حذف شود، اغلب اضافی است و خود را در غرق شدن در دیدگاه نویسنده نشان میدهد. و اکنون پول و استعداد به سمت سریالها میرود، بنابراین بهطور طبیعی بیشترین توسعه در آنجا خواهد بود.
فرض کنید یک شرط وجود دارد: ۵۱% احتمال اینکه کارایی زمین را به دو برابر برسانید، ۴۹% احتمال اینکه همه چیز به صفر برود. آیا شما بازی میکنید؟ اگر برنده شدید، دوباره بازی میکنید، دو برابر میکنید یا به صفر میروید، آیا شما همیشه بازی میکنید؟ شما به Tyler Cowen گفتهاید که شما یک شرط «۴۹% احتمال نابودی جهان، ۵۱% احتمال دو برابر شدن کارایی» را قبول میکنید، به شرطی که جهانها مستقل باشند. آیا میتوانید استدلال خود را توضیح دهید؟ آیا این دیدگاه بعد از سقوط FTX تغییر کرده است؟
برای اینکه آن صحنه برقرار شود، نیاز به بسیاری از پیشفرضها دارید. شما باید فرض کنید که جهانها مستقل هستند، همانطور که گفتید؛ فرض کنید این یک فرصت یکبار است و در آینده نمیتوان آن را با هزینه کمتری تکرار کرد؛ و همچنین بسیاری از فرضیات ناگفته دیگر.
اما یک روش سادهسازی این است: دو جهان، جمعیت تقریباً برابر، انتظارات آینده تقریباً برابر و کاملاً مستقل از یکدیگر، آنها هرگز تعامل نخواهند داشت و به هر دلیلی در خارج از مخروط نوری یکدیگر هستند. سپس بهطور تصادفی، یک موجود عجیب و غریب از یک سیاره دیگر میآید و میگوید: این دو جهان هر کدام ۵۰% احتمال نابودی دارند؛ و شما به دلایلی به این موجود عجیب و غریب باور دارید. او میگوید، شما میتوانید انتخاب کنید که آنها را مرتبط کنید یا غیر مرتبط. گزینه اول: یا هر دو زنده میمانند یا هر دو نابود میشوند، هر کدام ۵۰%. گزینه دوم: یکی زنده میماند و یکی نابود میشود، بهصورت تصادفی، شما نمیدانید کدام یک کدام است.
در آن صحنه، من فکر میکنم واضح است که این دو انتخاب معادل هستند. و اگر یکی از طرفین به شما ۵۱ به ۴۹ بدهد، شما باید آن را انتخاب کنید و گزینه «همزیستی» را انتخاب نکنید، زیرا هر جهان به دیگری اهمیتی نمیدهد، زیرا آنها هرگز تعامل نخواهند داشت. و این تقریباً همان سوال اولیه است: شما باید بین «دقیقاً یک جهان زنده» و «۵۰% احتمال اینکه هر دو زنده بمانند» انتخاب کنید.
انتظار آن مثبت است، اما به میزان زیادی نیست. اما اگر شما همیشه ادامه دهید، بعد از ده بار، به بیش از هزار برابر میرسید. با افزایش تعداد موفقیتها، آیا حاشیه کارایی کاهش نمییابد و انتظار بهطور اساسی برابر میشود، بهطوری که شما دیگر تمایلی به بازی کردن این بازی ندارید؟
این یک سوال جالب است و بستگی به این دارد که این «دو برابر شدن» دقیقاً چه چیزی را دو برابر میکند. شما در مورد حاشیه کارایی افزایشی و حاشیه ارزش کاهشی صحبت میکنید، آن «چه چیزی» کارایی است؟
اگر این به کارایی کل جهان مربوط باشد، پس نه، کارایی نسبت به خود خطی است. اما اگر این در واقع یک نوع معیار تقریبی باشد، مثلاً شما به GDP نگاه میکنید و میگویید «آیا GDP میتواند دو برابر شود؟»، احتمالاً حاشیه بازگشت کاهشی بسیار عمیقی وجود دارد.
اولاً، دو برابر شدن GDP به این معنا نیست که خوشبختی همه دو برابر میشود، و حتی به این معنا نیست که انتظار بلندمدت جهان دو برابر میشود. آن دو برابر شدن GDP ممکن است بهطور طبیعی ۳۰ سال دیرتر اتفاق بیفتد؛ یا ممکن است به دلیل تخریب شدید محیط زیست، در نهایت به حالت اولیه خود برگردد. بنابراین در دنیای واقعی، آن معیارهایی که شما برای اندازهگیری استفاده میکنید، ممکن است چیزهایی نباشند که واقعاً برای شما اهمیت دارند.
آیا هیچ معیاری وجود دارد که بتواند ده برابر یا صد برابر شود و حاشیه کاهشی نداشته باشد؟ آن چه خواهد بود؟
یک مورد وجود دارد، اما من باید یک پیشفرض اضافه کنم: من نمیتوانم مطمئن باشم که کدام یک از آنها در آینده نزدیک واقعاً میتواند این کار را انجام دهد، اینها به پیشرفت فناوری نیاز دارند. استعمار سیارات دیگر، استعمار منظومه شمسی، کهکشان، در نهایت شما واقعاً جهانهای مستقل بیشتری خواهید داشت و فقط در حال ایجاد رفاه بیشتر برای انسانها هستید. این یک مثال است.
اگر به روش دیگری فکر کنیم: جمعیت ثابت بماند، همیشه یک میلیارد نفر باشد، آیا میتوانیم خوشبختی آنها را به طور مداوم دو برابر کنیم؟ من فکر میکنم پاسخ این است که ما واقعاً نمیدانیم. این تقریباً یک مسئله بیولوژیکی است، نه چیز دیگری. راضی کردن مردم و ایجاد خوشحالی متوسط یک چیز است؛ اما ایجاد شادی شدید بسیار دشوار است و تصور اینکه چه چیزی میتواند شادی را دو برابر یا ده برابر کند، حتی دشوارتر است، زیرا این خارج از دامنه احساساتی است که انسانها معمولاً میتوانند تجربه کنند. از نظر تئوری ممکن است، اما ما الگوی خوبی نداریم و نه آن فناوری یا بیولوژی برای تحقق آن.
آیا فکر میکنید که توسعه فعلی AI نسخهای از واقعیت پرتاب سکه است؟ اگر مجبور باشید یکی از دو گزینه را انتخاب کنید: A، توسعه AI را کند کنید و p(doom) را از 10% به 2% کاهش دهید؛ B، به پیشرفت ادامه دهید و p(doom) بالاتری را بپذیرید تا فضای صعودی بیشتری به دست آورید. کدام را انتخاب میکنید؟
من فکر میکنم تشبیه واضحتری این است که بین "ادامه پیشرفت" و "قطع دائمی تمام توسعه AI یا شبه AI" انتخاب کنید. زیرا در این حالت شما اساساً در حال انتخاب بین "جهان در معرض خطر جدی است" و "محدود کردن توانایی جهان برای شکوفایی" هستید، و دومی احتمالاً در نهایت به نوعی اتوماسیون یا هوش دیجیتال نیاز دارد. بنابراین در چنین شرایطی، مسدود کردن دائمی این مسیر هزینههای بسیار بالایی برای آینده خواهد داشت.
اما اگر فقط "سریعتر یا کندتر" باشد، اینگونه واضح نیست، زیرا دو مدل وجود دارد که میتوان از آنها استفاده کرد. یکی مدل "رشد نمایی دائمی" است: به محض شروع شتاب، کارایی هر سال دو برابر میشود و هیچ پایانی ندارد. طبق این مدل، شروع زودتر یک سال به معنای دو برابر کردن دائمی جهان است، اما این کمی غیرواقعی است و نمیتواند برای همیشه ادامه یابد.
مدل دیگری این است که آن را به عنوان یک رویداد نقطهای در نظر بگیریم، که پس از آن به یک مرحله جدید با ارتفاع ناشناخته میرسد. پس از وقوع این رویداد، جهان ممکن است هنوز چند میلیارد سال دیگر وجود داشته باشد، بنابراین به تأخیر انداختن این رویداد به مدت یک سال، ده سال یا حتی صد سال، در این مدل حتی 1% از کارایی آینده را کاهش نمیدهد. طبق این مدل، شما کاملاً مایل هستید که برای کاهش 1% از p(doom)، توسعه را به مدت صد سال به تأخیر بیندازید.
البته، پاسخ واقعی احتمالاً در بین این دو است. و من فکر میکنم "شکل منحنی کارایی در شرایط انفجار AI در طول زمان چگونه است"، سوال بسیار جالبی است.
بسیاری از مردم سعی میکنند بر اساس پاسخ شما به آن سوال، جهانبینی شما را خلاصه کنند، "همیشه گزینهای با بالاترین ارزش مورد انتظار را انتخاب کنید". آیا این یک خلاصه منطقی است؟
این بخشی از آن است. اما اولین بخشی که من پاسخ میدهم این است که: فرضهای زیادی وجود دارد. شما باید فرضهای زیادی درباره شرایط داشته باشید تا به آن پاسخ برسید، و آن فرضها در زندگی واقعی اغلب برقرار نیستند. در واقع، تمام گزینهها بسیار بیشتر از آنچه که ارائه شدهاند، پیچیدهتر هستند. و در دنیای واقعی، به طور تصادفی خراب کردن یک چیز، بسیار آسانتر از ساختن یک چیز است.
بیایید یک مثال بزنیم: فرض کنید یک سکه دارید، با 51% احتمال فردا آزاد میشوید و 49% احتمال اینکه مدت محکومیت شما دو برابر شود. آیا شرط میبندید؟
البته.
زیرا مدت محکومیت من حبس ابد است. واقعاً، هدف من این نیست که مطمئن شوم که در 60 سالگی آزاد میشوم و سپس چند سال در یک کلبه چوبی زندگی میکنم، این انتظار من از زندگی نیست. من امیدوارم که تأثیر مثبتی بر جهان بگذارم و برای این کار باید در بیرون باشم. برای این هدف، هزینه بالایی وجود دارد. اگر هزینه از دست دادن سالهای پایانی زندگیام باشد که دیگر تولیدی ندارند، من کاملاً مایل به پرداخت این قیمت هستم.
آیا میتوانید مثالی بزنید که به دلیل وجود این فرضها، شما شرط نمیبندید؟
بله. در واقع، یک وضعیت وجود دارد که به نظر میرسد مانند پرتاب سکه است: اگر روی "رو" بیفتد، مدل شما نشان میدهد که ممکن است باعث دو برابر شدن رشد جهان شود؛ اگر روی "برعکس" بیفتد، ممکن است جهان را نابود کند. شما مطلقاً نمیتوانید روی این سکه شرط ببندید.
زیرا در دنیای واقعی، اولاً، در آن 50% که "دو برابر شدن رشد جهان" است، شما احتمالاً چیزی را ایجاد کردهاید که دیگران به هر حال دیر یا زود آن را انجام خواهند داد، و این احتمالاً واقعاً دو برابر شدن ارزش جهان نیست. و اگر جهان نابود شود، این دائمی است و برای همیشه از بین میرود.
بنابراین من فکر میکنم، در شرایط واقعی، به محض اینکه عدم قطعیت و نویز را به هر مرحله اضافه کنید، وزن نابودی فاجعهبار بسیار بیشتر میشود، در حالی که رشد متوسط هنوز خوب است، اما به هیچ وجه کافی نیست.
بیایید یک مثال دیگر از پرتاب سکه را بررسی کنیم. شما گفتهاید که به طور کامل به دین اعتقاد ندارید. اما شرط پاسکال همیشه وجود دارد: آیا ایمان به خدا ارزش مورد انتظار مثبت است؟ اگر واقعاً زندگی پس از مرگ وجود داشته باشد، عدم ایمان به جهنم میانجامد، در حالی که هزینه ایمان امروز محدود است، آیا این یک مثال دیگر نیست؟
همان منطق، اگر این منطق هیچ ارتباطی با محتوای خاص دینی که شما بررسی میکنید نداشته باشد، به همان اندازه برای "پرستش تیرک برق" نیز صدق میکند: اگر تمام زندگیتان را به پرستش تیرک برق بگذرانید، به بهشت میروید؛ در غیر این صورت به جهنم میروید. آیا این به این معنا نیست که شما باید تمام زندگیتان را به پرستش تیرک برق اختصاص دهید؟
به همان منطق، این به "ضد پرستش تیرک برق" نیز صدق میکند: پرستش تیرک برق به جهنم میانجامد، و بیاحترامی به تیرک برق به بهشت میانجامد. آیا این به این معنا نیست که شما باید تمام زندگیتان را به مخالفت با تیرک برق اختصاص دهید؟ همان منطق، به شما دو پاسخ کاملاً متضاد میدهد.
پاسخ این است: برای این جهان، شما میتوانید فرضها و احتمالات عجیب و غریب بینهایتی را تصور کنید، اما نمیتوانید به تمام احتمالات غیرمنطقی، احتمال مثبت قابل توجهی بدهید.
یک سوال دیگر مرتبط با ارزش مورد انتظار و الیتریسم مؤثر: بسیاری از EA ها امنیت AI را در بالاترین اولویت قرار میدهند، زیرا این یک ارزش مورد انتظار مثبت است، ما پول خرج میکنیم و شاید بتوانیم از انقراض بشر جلوگیری کنیم، زیرا میتوانیم AI را همسو کنیم. آیا این استدلال معتبر است؟
تا حدی معتبر است. این استدلال به خودی خود کاملاً صحیح است: این احتمالاً دهه تعیینکننده AI است و تأثیر بالقوه آن میتواند جهان را تغییر دهد، ممکن است بسیار خوب باشد یا ممکن است فاجعهآمیز باشد و این میتواند هر چیزی را که هرگز جهان را تغییر نمیدهد یا شما اکنون هر کاری انجام دهید که نمیتواند جهان را تغییر دهد، تحت الشعاع قرار دهد. بنابراین این یک استدلال بسیار قانعکننده است.
اما آنچه که پاسخ نمیدهد این است که شما واقعاً چه کاری میتوانید انجام دهید. من فکر میکنم بسیاری از مردم در نهایت در یک دور باطل میچرخند: آنها امنیت AI را به عنوان مأموریت خود تعیین میکنند، اما نمیتوانند هیچ چیزی را در عمل پیدا کنند که واقعاً AI را ایمنتر کند. این بدان معناست که ارائه بینش در مورد "چه چیزی واقعاً مهم است، چه چیزی واقعاً مفید است"، بسیار ارزشمند و بسیار مهم است.
شما میتوانید به گزارشهای اخیر درباره هک Hugging Face نگاه کنید، چه کسی میداند، اما به نظر میرسد آن گزارشها از نظر ارزش مورد انتظار برای جهان بسیار مفید هستند و این یک خبر خوب است. فقط پیدا کردن آن نوع خبر خوب واضح و مثبت آسان نیست و اکنون بحثهای زیادی وجود دارد: آیا اقدامات مختلف EA واقعاً برای امنیت AI مثبت است یا منفی؟
این محتوا صرفاً برای اطلاعرسانی عمومی ارائه شده است و بهمنزله مشاوره مالی، سرمایهگذاری، حقوقی یا مالیاتی تلقی نمیشود. هرگونه رویداد، جایزه، کمپین آنلاین یا اطلاعات مرتبط که در اینجا ذکر شده است، نباید بهعنوان توصیه، ترغیب یا دعوت به خرید، فروش، معامله یا هرگونه دادوستد دیگر داراییهای رمزارزی تلقی شود. داراییهای رمزارزی از نوسان بالایی برخوردار هستند و ممکن است منجر به زیان شوند. دسترسی به خدمات، محصولات و رویدادهای مرتبط با WEEX ممکن است بسته به منطقه جغرافیایی متفاوت باشد. اطمینان از اینکه استفاده شما از این خدمات با قوانین و مقررات محلی مطابقت دارد، بر عهده خود شماست.
ممکن است شما نیز علاقهمند باشید

ظهور مشکل افزایش غیرمنتظره توکن Cyber در Solana

پیگیری پول: دور Variational به مبلغ ۱۱۰ میلیون دلار، فعالیت Tether و معاملات M&A

نفوذ در دفتر کل معاملات اجتماعی: در زیر سر و صدای ترافیک، چه کسی سود واقعی را به دست میآورد؟

هکرها حدود ۴۸۸ هزار ETH را منتقل کردند که ارزش آن حدود ۸.۶ میلیارد دلار است

唐华斑竹 : PancakeSwap به Pancake تغییر نام داد، کاربران از 2.08 میلیون فراتر رفتند

آیا سولانا میتواند بدون از دست دادن مزیت سرعت خود، به امنیت کوانتومی دست یابد؟
چرا ارز دیجیتال VTC6 حجم معاملات بالایی اما تقریباً هیچ نقدینگیای ندارد؟
چرا ارز دیجیتال VTC6 حجم معاملاتی برابر با $68K و نقدینگی فقط $1 دارد؟ با بررسی ذخایر استخر، تأثیر قیمت و قیمتهای پیشنهادی فروش، درباره امکان خروج از معامله بیشتر بدانید.
چرا برخی توکنهای ارز دیجیتال VTC6 پس از عرضه GTA 6 سقوط کردند؟
ببینید چرا قیمت برخی توکنهای ارز دیجیتال VTC6 همزمان با عرضه GTA 6 افت کرد. سه مینت Solana، فعالیت فروش، ذخایر استخر و شواهد مربوط به راگ پول را مقایسه کنید.
آیا کوین VTC همان VTC6 است؟ ورتکوین و وایس ۶ به زبان ساده
آیا کوین VTC همان VTC6 است؟ ورتکوین و VICE 6 را از نظر شبکه، نماد معاملاتی و آدرس توکن مقایسه کنید و ببینید پیش از انتقال داراییها باید چه مواردی را بررسی کنید.

ارز دیجیتال VTC6 چیست؟ راهنمای مبتدیان برای VICE 6 (VTC6)
ارز دیجیتال VTC6 چیست؟ بیاموزید چرا چندین توکن از نام VICE 6 استفاده میکنند و پیش از مقایسه فهرستها، چگونه شبکه، آدرس مینت و استخر معاملاتی را بررسی کنید.
چگونه ارز دیجیتال VTC6 را بخریم: راهنمای وایس ۶ (VTC6)
یاد بگیرید چگونه ارز دیجیتال VTC6 را از طریق یک مسیر پشتیبانیشده در DEX بخرید، آدرس دقیق توکن VICE 6 را تأیید کنید و پیش از سواپ، قیمتهای خرید و فروش را بررسی کنید.

کیف پول ChatGPT با ویزا همکاری میکند: آیا اقتصاد ایجنت به استیبل کوین نیاز دارد؟

Pump.fun به طور مشکوکی به یک تأثیرگذار 100 هزار دلار در ماه پیشنهاد داد تا از Fomo خارج شود و توکنهای بیشتری را ترویج کند

Solana نقشه راه 2027 را منتشر کرد، توان محاسباتی شبکه دو برابر میشود

ارز دیجیتال VTC6: آیا کوین رسمی GTA 6 است؟ Take-Two واقعاً چه چیزی پیشنهاد داد
آیا ارز دیجیتال VTC6 کوین رسمی GTA 6 است؟ پیشنهاد Sharkbux شرکت Take-Two، اطلاعات انتشار Rockstar و دو مینت توکن Solana با نام یکسان را مقایسه کنید.

ارزش سهام توکن شده سولانا به ۱.۲۲ میلیارد دلار رسید در حالی که عرضه سهام گسترش مییابد

تغییرات عمده در منطق سرمایهگذاری YC: از نرمافزار به سختافزار، از مدل به دنیای فیزیکی

Blockaid 8800 توکن با تم GTA را در Solana به عنوان مخرب علامتگذاری کرد

جانسون از بریتانیا خواست تا پیشرو در توسعه توکنسازی باشد و بیتکوین را به عنوان یک طرح پانزی انتقاد کرد

Solana دیگر در زمینه Meme توسعه نمییابد و به پروژههای DePIN روی میآورد

توسعه DeFi 9,482 SOL اضافه میکند در حالی که خزانه برای دهمین هفته متوالی رشد میکند

لکاس برودر، همبنیانگذار Jito، از توسعهدهندگان ارزهای دیجیتال خواست تا سرعت خود را کاهش دهند و به ترمیم نقاط ضعف امنیتی بپردازند

جهش توکن BP بکپک %44 در پی گمانهزنی درباره تأیید CFTC: آنچه میدانیم

برنامههای Revolut برای چهار صندوق بلاکچین به منظور مقابله با کمبود نقدینگی در بازارهای خصوصی

برگزاری Solana Breakpoint 2027 از 8 تا 10 سپتامبر در سان فرانسیسکو

بنیاد سولانا: نمایندگی هوش مصنوعی 76% از حجم توکنهای OpenRouter را به خود اختصاص داده است

FTX «قدیمی» مجوز معاملات آتی آمریکا را به دست آورد، معاملات ۷×۲۴ ساعت به زودی آغاز میشود

Akash برنامه قراردادهای آتی محاسباتی Akash Compute Forwards را برای آزمایش در سال 2027 معرفی کرد

ARK Invest 40 میلیون دلار سهام Block، Circle و Coinbase خریداری کرد و 85 میلیون دلار از Nvidia فروخت








