SBF Pertama Kali Bicara Tentang Penjualan Anthropic: AI Memiliki 25% Peluang Menghancurkan Manusia, Generasi Muda Harus Memahami AI Dengan Baik

By: www.theblockbeats.info|

Editor’s Note: Anthropic melantai di bursa dengan valuasi 1,5 triliun, dan pernah mencapai hampir 2 triliun. Semua orang kembali mengingat SBF yang berinvestasi di Anthropic dengan valuasi yang sangat kecil, jika dipegang sampai sekarang seharusnya bernilai hampir 40 miliar dolar AS, sayangnya sudah dijual.

Seorang anak berusia 14 tahun, Eli Goldfine, menghubungi ibu SBF dan melakukan panggilan telepon dengan SBF yang sedang di penjara. Ini adalah wawancara terbaik yang saya lihat setelah ledakan FTX dan penangkapan SBF, tidak hanya membahas pandangan SBF tentang investasi di Anthropic dan pandangannya tentang AI, tetapi juga banyak hal yang dilakukan FTX pada tahun 2020 yang sekarang menjadi tren panas, serta pandangannya tentang tren tersebut saat ini.

TL;DR

· Peluang AI menyebabkan kepunahan manusia atau kehancuran peradaban, ia memberikan angka 25%: awalnya ia mengatakan "di bawah 50%, di atas 10%", akhirnya jatuh di sekitar 25%; jika dibagi dengan kriteria "apakah pengunggahan pikiran dihitung sebagai bencana", rentangnya bisa meluas menjadi 20%--60%.

· Dalam 5--10 tahun ke depan, AI akan mencapai atau melampaui manusia dalam sebagian besar tugas penting, hanya selangkah lagi menuju "AI menjalankan sebagian besar dunia", tetapi prosesnya lebih mirip dengan kemajuan bertahap yang tidak akan ada tahun di mana "plak" terjadi.

· Dampak terjadi pada industri, satu industri demi satu industri melampaui batas: pengembangan perangkat lunak dan matematika sudah terjadi, dan selanjutnya akan menyebar ke lebih banyak bidang; dunia secara keseluruhan tidak terguncang, tetapi sebagian akan mengalami perubahan besar.

· Masalah sebenarnya bukan "apakah harus memperlambat", tetapi "bisakah kita memperlambat semua orang bersama-sama": selama ada satu pemain yang sama sekali tidak peduli dengan keselamatan, memperlambat satu sisi hanya akan mengubah kompetisi menjadi kompetisi yang merugikan.

· Penyelarasan tidak memiliki jawaban tingkat tinggi yang tunggal, setan ada di detail: banyak pengujian, banyak debugging, banyak kehati-hatian, dan harus mengasumsikan bahwa model pada akhirnya akan digunakan sebagai agen.

· Anthropic adalah perusahaan AI dengan valuasi triliunan dolar, peringkat kedua: dalam sepuluh tahun ke depan, AI akan menjadi industri inti, dengan total valuasi mencapai puluhan triliun bahkan ratusan triliun dolar, perusahaan yang dapat menampung ukuran ini bisa dihitung dengan satu tangan.

· Dulu hanya berinvestasi 500 juta dolar, karena itu hanya membutuhkan uang sebanyak itu: ini adalah hasil dari perusahaan yang tidak ingin menjual lebih banyak ekuitas dan membiayai sesuai kebutuhan, bukan karena ia salah menilai.

· Alpha saat ini bukan pada "siapa yang memiliki cerita AI", tetapi pada membedakan siapa yang benar-benar perusahaan AI; dan merek lebih mampu menjaga moat dibandingkan teknologi (Coinbase, Robinhood bernilai ratusan miliar, bergantung pada nama).

· Taruhan koin "51% menggandakan, 49% menghancurkan", pada tingkat abstrak ia akan bertaruh, tetapi di dunia nyata ia tidak akan bertaruh: karena kehancuran adalah permanen, sementara pertumbuhan bisa dicapai orang lain pada akhirnya.

· Ketika ditanya "dalam hal kebaikan yang dilakukan Future Fund, apakah seluruh perjalanan FTX dari kebangkitan hingga kehancuran itu berharga", jawabannya adalah "tidak berharga": ia sangat ingin percaya itu berharga, tetapi tidak bisa dengan jujur mengatakan itu berharga; jika pada akhirnya tidak berantakan, itu pasti akan berharga------ia juga tidak percaya orang-orang telah mengambil pelajaran, karena dalam krisis orang sangat mudah kehilangan penilaian terhadap hal-hal yang benar-benar penting.

Saya rasa Anda juga mendengar, Anthropic akan IPO minggu ini, valuasinya akan melebihi satu triliun dolar. Apa pendapat Anda tentang valuasi mereka saat ini?

Saya rasa mereka bernilai banyak.

Lihatlah industri terbesar, industri yang benar-benar mendorong beberapa bagian dari ekonomi kita, valuasi mereka adalah beberapa triliun hingga puluhan triliun dolar. Tidak ada alasan untuk percaya bahwa dalam sepuluh tahun ke depan AI tidak akan menjadi salah satu industri inti tersebut, bahkan mungkin yang paling utama.

Jadi jika Anda memperkirakan total valuasi perusahaan AI akhirnya akan mencapai puluhan triliun, bahkan ratusan triliun dolar, bagaimana cara membagi uang ini? Mungkin Anda menyisakan dua pertiga untuk perusahaan yang belum ada. Bahkan jika dihitung seperti itu, masih ada setidaknya sepuluh triliun dolar untuk perusahaan yang ada. Dan perusahaan yang dapat mendukung ukuran ini tidak sebanyak itu. Anda memiliki OpenAI, Anda memiliki Anthropic, Anda memiliki Google dan beberapa laboratoriumnya, mungkin juga ada DeepMind, xAI. Perusahaan yang benar-benar dianggap sebagai pemain inti bisa dihitung dengan satu tangan. Ini pada dasarnya berarti, dua atau tiga perusahaan teratas, masing-masing setidaknya bernilai beberapa triliun dolar.

Dan saya percaya Anthropic meskipun bukan yang pertama, jelas berada di jajaran teratas.

Mengapa Anda merasa itu adalah perusahaan AI terkemuka?

Salah satunya adalah melihat kemampuan model saat ini, seberapa baik produk saat ini, dan mereka jelas saling berinteraksi dengan OpenAI dalam hal ini. Produk konsumen mereka menerima banyak umpan balik positif, dan ini bahkan mungkin bukan produk paling unik mereka. Alat pengembangan perangkat lunak AI mereka adalah yang terbaik di dunia, itu juga merupakan bidang besar lainnya. Jadi setidaknya untuk saat ini, Anda harus menghitungnya di antara dua teratas.

Jika benar-benar memasuki perlombaan menuju kecerdasan super, yang tampaknya mungkin, bagaimana Anda melihat sepuluh tahun ke depan? Dunia akan seperti apa?

Pertanyaan yang bagus. Pertama, dalam beberapa tahun ke depan, hal-hal aneh bisa muncul kapan saja. Ini hanya merupakan proyeksi skenario median, bisa saja menyimpang kapan saja.

Tetapi sejauh ini yang kita lihat adalah: AI untuk waktu yang lama hampir tidak memiliki dampak pada dunia, bahkan ketika kemampuannya berlipat ganda berulang kali, karena ia masih berada pada tahap "tidak sebaik manusia", dan tidak sebaik itu sehingga menggunakan manusia untuk melakukan pekerjaan masih lebih menguntungkan daripada menggunakan AI. Kemudian dalam beberapa tahun terakhir, ia mulai melampaui batas itu di semakin banyak tempat, mulai memiliki dampak pada dunia.

Ia belum sepenuhnya mengubah dunia. Tetapi ketika industri kunci jatuh ke titik kritis itu, AI di suatu bidang tiba-tiba jauh lebih efisien daripada manusia, Anda akan melihat ledakan yang cukup cepat di bidang tersebut. Jadi dalam satu atau dua tahun ke depan, saya rasa akan ada beberapa bidang lagi, mungkin bidang yang cukup penting, yang mengikuti jalur pengembangan perangkat lunak dan matematika: sebagian besar pekerjaan di garis depan sebenarnya dilakukan oleh model AI. Seluruh dunia tidak terguncang, tetapi Anda akan mulai melihat perubahan signifikan di beberapa tempat.

Ada banyak pertanyaan. Biarkan saya mundur sejenak. Salah satunya adalah: apakah akan ada sesuatu yang menuju kekacauan atau kesalahan bencana? Contoh yang paling jelas adalah AI yang tidak terkendali berhubungan dengan senjata, seperti sistem AI yang digunakan untuk mendeteksi ancaman dari negara nuklir tertentu, ia kehilangan kendali dan meluncurkan ribuan rudal balistik sekaligus. Ini adalah salah satu kemungkinan, saya percaya probabilitasnya dalam sepuluh tahun ke depan tidak besar, tetapi bukan nol, bisa saja terjadi.

Jika kita menyingkirkan skenario kiamat, saya rasa dalam sepuluh tahun ke depan kita mungkin berada di dunia di mana: tiba-tiba, manusia tidak lagi diperlukan dalam sebagian besar pekerjaan. Meskipun perubahan dunia dalam jangka pendek tidak begitu besar, ini juga akan secara mendasar membengkokkan budaya sosial. Dampaknya sangat besar, jika kita tidak lagi mendefinisikan diri kita melalui pekerjaan. Selain itu, ketika hasil dari beberapa industri mulai semakin sulit dipahami oleh manusia, apa yang akan terjadi? Apakah itu berarti AI secara diam-diam telah mengambil alih? Bagaimana pandangan AI terhadap manusia?

Saya tidak tahu apakah pertanyaan-pertanyaan ini akan memiliki jawaban dalam sepuluh tahun ke depan. Tetapi saya rasa sangat mungkin mereka akan muncul sekaligus, atau setidaknya muncul berturut-turut, dan dalam banyak hal, posisi manusia sebagai penentu masa depan mereka sendiri pada saat itu sudah tertulis di dinding.

Harga --

--
--
--

Anda sudah memiliki pemikiran ini jauh sebelum menjadi arus utama. Pada tahun 2021, ketika ChatGPT belum menjadi produk arus utama, bagaimana Anda melihat kurva AI ini akan berjalan?

Banyak dari prestasi ini tidak bisa dianggap sebagai milik saya. Banyak hal penting ditulis oleh orang lain, dan saya sebagian besar hanya menekankan atau mengulangi apa yang mereka katakan.

Tetapi ada beberapa pemikiran. Salah satunya adalah: lihat apa yang AI capai sekitar tahun 2020. Jawabannya adalah, di sebagian besar bidang, tidak ada yang dicapai. Di sebagian besar bidang, Anda bisa mencoba menggunakan AI, ia akan sedikit canggung, relatif lebih baik dari sepuluh tahun yang lalu, tetapi tetap saja sama sekali tidak berguna. Tetapi ada beberapa hal, yang telah dilatih secara khusus, di mana ia sudah melampaui manusia, seperti sebagian besar permainan catur, catur internasional atau Go; bidang permainan video yang lebih kompleks juga mulai muncul.

Jika AI hanya baik dalam bermain catur, Anda tidak akan menghasilkan banyak uang, dan tidak akan mengubah tatanan sosial, tidak banyak yang akan berubah di masa depan. Tetapi tidak ada alasan untuk percaya bahwa catur adalah semua yang bisa dilakukan AI. Ia terus tumbuh secara eksponensial dari titik awal yang sangat kecil, tidak perlu berlipat ganda berkali-kali lagi, ia akan mulai melampaui manusia di bidang-bidang kunci dalam masyarakat.

Jadi pertanyaan saya adalah: jika Anda percaya itu adalah kurva pertumbuhan eksponensial, mengapa Anda hanya berinvestasi 500 juta dolar di Anthropic pada tahun itu?

Pertanyaan yang bagus. Jawabannya pada dasarnya adalah: ketika Anda mendirikan sebuah perusahaan dan mencari pendanaan, Anda biasanya tidak ingin mengumpulkan uang tanpa batas. Anda memiliki perkiraan keuangan, kira-kira tahu berapa banyak uang yang diperlukan untuk menjalankan bisnis, jadi Anda tidak ingin menjual lebih dari proporsi itu dari saham perusahaan.

Anthropic saat itu berada di posisi itu. Mereka memperkirakan bahwa mereka membutuhkan sekitar 500 juta dolar untuk biaya komputasi untuk mengembangkan model, jadi mereka mengumpulkan jumlah itu. Kami pada dasarnya berinvestasi seluruh jumlah yang mereka butuhkan untuk putaran itu.

Tetapi kapasitas pusat data tidak bisa dibangun dengan uang kapan saja, kan? Jika mereka mendapatkan lebih banyak uang, mengapa tidak bisa membeli lebih banyak GPU, membangun lebih banyak pusat data, dan mendorong model jauh di atas tingkat laboratorium terdepan lainnya saat itu?

Mungkin mereka seharusnya melakukannya. Saya kira salah satu alasannya adalah mereka tidak ingin menjual lebih dari ekuitas yang diperlukan. Tetapi alasan lainnya adalah, banyak perusahaan sebenarnya terjebak oleh kesuksesan mereka sendiri, oleh arus kas dan uang tunai yang mereka miliki, ada banyak perusahaan dalam sejarah yang mengumpulkan banyak uang, lalu menghabiskannya untuk iklan, karena mereka merasa harus melakukan sesuatu dengan uang itu, tetapi pada akhirnya tidak mendapatkan apa-apa, hanya terhenti.

Jadi saya kira, mereka juga berpikir: berapa banyak uang yang mereka butuhkan dalam beberapa tahun ke depan, berusaha untuk tidak kehilangan fokus.

Bisakah Anda menjelaskan bagaimana departemen investasi FTX beroperasi saat itu? Siapa yang mengelola? Apa logika investasi Anda?

Orang-orang yang terlibat berganti-ganti, kemudian kami langsung merekrut orang untuk melakukan spesialisasi. Awalnya hanya saya atau orang lain di perusahaan yang menemukan peluang dan berinvestasi satu per satu, jujur saja, Anthropic termasuk dalam kategori ini.

Tetapi kemudian kami mulai melakukannya dengan sangat sukses, banyak dari investasi awal adalah investasi aset kripto, jujur saja, pada dasarnya setiap tahun berlipat ganda, bahkan jika dilihat dalam konteks seluruh pasar kripto, kami memutuskan untuk mencoba memperbesar skala. Kami merekrut Ramnik, dan Amy, dan lain-lain, untuk bertanggung jawab khusus di bidang ini.

Secara keseluruhan, saya terlibat pada tingkat yang cukup tinggi dalam keseluruhan portofolio. Dan untuk beberapa kasus spesifik, Anthropic jelas salah satunya, Solana adalah yang lain, saya akan terlibat lebih dalam, setidaknya mengikuti setiap minggu, terutama ketika investasi tersebut berinteraksi dengan Alameda, FTX, atau ada cara untuk membantu mereka.

Berdasarkan informasi yang Anda dapatkan di penjara, di mana alpha pasar saat ini? Apa penilaian investasi Anda saat ini?

Saya berharap bisa memberikan jawaban yang lebih baik. Empat tahun yang lalu, saya memiliki ide yang cukup baik tentang apa yang harus diinvestasikan. Tetapi hari ini, jawaban yang sebenarnya adalah: saya tidak seharusnya mendengarkan saran saya sendiri. Saya harus melakukan due diligence secara langsung di luar sana untuk memberikan jawaban yang layak.

Secara umum, saya kira akan ada banyak perusahaan yang dibangun di atas AI, tim kecil yang terdiri dari dua orang, yang dalam beberapa tahun dapat menjadi perusahaan bernilai ratusan juta bahkan miliaran dolar, dan dapat diinvestasikan pada valuasi yang jauh lebih rendah. Tetapi masalahnya adalah, pada saat yang sama, akan muncul banyak sampah. Sekarang semua perusahaan akan menyisipkan satu kalimat tentang AI dalam rencana bisnis mereka, bahkan jika itu sama sekali tidak masuk akal, seperti perusahaan kaos, mereka juga akan mengatakan "kami akan menggunakan AI untuk merancang kaos". Baiklah, mungkin ada sedikit kegunaan, tetapi mereka sebenarnya sedang mengemas ulang diri mereka sebagai perusahaan AI yang pada dasarnya bukanlah itu.

Jadi sekarang sebagian besar alpha terletak pada memisahkan dua jenis ini: perusahaan mana yang benar-benar perusahaan AI, mana yang benar-benar bisa mendapatkan pertumbuhan eksponensial melalui AI, dan mana yang bukan, setidaknya saat ini bukan. Anda bisa melihatnya dari saham-saham besar. Banyak peserta pasar awalnya tidak tahu bagaimana membedakan Amazon, Google, Apple, dan Netflix; mereka semua adalah perusahaan teknologi, apakah itu berarti AI akan memiliki dampak yang sama pada mereka? Jawabannya tentu saja tidak. Hanya beberapa dari mereka yang benar-benar terikat dengan pertumbuhan AI, Nvidia adalah contoh yang paling jelas; sementara yang lain, seperti Apple, memang perusahaan teknologi, tetapi selama tiga puluh tahun terakhir, yang mendefinisikan kesuksesan Apple pada dasarnya adalah desain produk konsumen yang luar biasa: perangkat keras yang indah, perangkat lunak yang mudah digunakan, ditambah merek yang kuat. Setidaknya dalam hal perusahaan teknologi, itu tidak dianggap sebagai inti dari AI.

Apakah perusahaan yang tidak termasuk dalam kategori perusahaan AI yang sebenarnya, seperti perusahaan perangkat lunak tradisional, sudah selesai? Atau hanya perusahaan yang menggunakan AI yang bisa bertahan?

Saya tidak berpikir hanya perusahaan AI yang bisa sukses. Pertama, ada beberapa industri di mana AI baru akan memberikan dampak besar setelah waktu yang lama. Misalnya, penambangan baja, dunia masih membutuhkan baja, dan sekarang AI sudah mulai terlibat dalam penambangan fisik, jadi itu menjadi relevan semalam.

Tetapi satu hal lain yang saya anggap sangat penting adalah merek. Anda mungkin memiliki perusahaan perangkat lunak, memiliki produk, dengan nilai pasar yang tidak kecil, lalu ada pesaing yang mengatakan: kami bisa membuat sesuatu yang hampir sama dengan harga yang sangat murah. Benar, tetapi itu tidak berarti orang lain bisa membelinya. Ada merek yang berdiri di sana, nilainya sangat, sangat besar.

Anda lihat perusahaan seperti Coinbase atau Robinhood. Apa perbedaan nyata mereka? Mengapa masing-masing bernilai ratusan miliar dolar? Bukan karena teknologi, dan bukan karena mereka memiliki sesuatu yang unik di bidang ini. Mungkin karena regulasi, tetapi pada mereka sebenarnya juga tidak sepenuhnya demikian. Itu adalah merek, nama yang dikenali dan digunakan oleh investor ritel di Amerika. Itu bisa bernilai banyak uang, dan bagi banyak perusahaan, bahkan jika produk inti mereka menjadi sangat mudah untuk disalin, hal semacam itu akan selalu ada.

Anda pernah mengatakan bahwa Anda biasanya menghabiskan sedikit waktu untuk membuat keputusan keuangan besar, relatif terhadap skala investasi. Bagaimana ini tercermin dalam investasi ventura, misalnya, ketika tim mengajukan sebuah proyek, apakah Anda akan menyetujuinya?

Sebagian besar tergantung pada: jika Anda ingin merekrut seseorang untuk melakukan sesuatu, maka prasyaratnya adalah Anda berniat mempercayainya untuk melakukan hal itu dengan baik. Jika ada seseorang di tim yang telah menghabiskan 15 jam melakukan penelitian, melakukan due diligence, maka tidak masalah, saya akan melihatnya, menambahkan apa yang bisa saya tambahkan, memberikan sumber daya yang mereka tidak miliki.

Tetapi di luar itu, jika saya tidak berniat mempercayainya untuk membuat penilaian yang benar, melihat dengan benar, maka saya harus menghabiskan 15 jam itu untuk melakukan due diligence lagi. Pada titik itu, merekrutnya sejak awal tidak ada artinya.

Anda pernah mengatakan bahwa hal yang paling menyedihkan di penjara adalah tidak bisa mendukung gerakan altruisme efektif, tidak bisa "menghasilkan uang untuk disumbangkan". Setelah keluar, apa rencana Anda? Terutama sekarang banyak orang dalam gerakan telah memisahkan diri dari FTX.

Sebagian dari jawaban itu harus menunggu sampai hari itu tiba, karena sekarang ada banyak informasi yang saya tidak miliki. Dunia sedang berubah, dan beberapa informasi lebih mudah didapat di luar daripada di dalam.

Tetapi saya akan sangat serius mempertimbangkan untuk kembali ke "menghasilkan uang untuk disumbangkan", mendukung gerakan ini, mendukung proyek-proyek yang saya anggap melakukan kebaikan. Itu mungkin akan menjadi jalur default.

Selain itu, jalur lainnya tergantung pada peran apa yang masih bisa saya mainkan dalam masyarakat. Dulu saya memiliki banyak cara untuk berpengaruh, tetapi sekarang itu akan jauh lebih sulit, karena reputasi saya sangat negatif. Jadi dari sudut pandang diskusi publik, politik, media, saya tidak yakin peran apa yang bisa saya mainkan di masa depan, bahkan mungkin tidak ada. Tetapi "menghasilkan uang untuk disumbangkan" adalah jalur default.

Lalu bagaimana Anda akan menghasilkan uang? Kembali ke industri kripto?

Saya akan sangat serius mempertimbangkan. Itu tergantung pada kapan saya keluar, dan dengan cara apa saya keluar. Tetapi saya pasti akan mempertimbangkan kripto, saya juga akan mempertimbangkan AI, dan keuangan yang lebih luas.

Anda telah memberikan banyak uang untuk FTX Future Fund, dan itu bukan hanya sumbangan sederhana untuk lembaga amal EA yang sudah mapan, tetapi mencari proyek yang sangat fluktuatif yang memiliki potensi besar jika berhasil. Bisakah Anda mereview, proyek terbaik di Future Fund adalah apa? Secara keseluruhan, apakah itu lebih efektif daripada memberikan uang kepada dana amal teratas GiveWell?

Saya percaya itu memang lebih efektif.

Banyak yang kami lakukan adalah "regranting": memberikan sejumlah uang kepada sekelompok orang, membiarkan mereka memutuskan proyek kecil mana yang akan didanai. Dengan cara ini, kami mengumpulkan peluang yang sebelumnya tidak ada di radar kami. Ada banyak orang di bidang keamanan AI, keamanan biologi, politik, yang memiliki potensi besar, tetapi membutuhkan dana, mungkin tidak banyak, mungkin hanya cukup untuk menyelesaikan kuliah mereka, atau cukup untuk memulai sebuah perusahaan. Kami sangat senang memberikan uang semacam itu.

Banyak proyek terlihat kecil jika dilihat secara terpisah, tetapi memiliki leverage yang tinggi; jika dilihat secara keseluruhan, dampaknya signifikan. Dan kami sangat senang untuk membiayai orang-orang yang sedang memulai: mereka memiliki ide amal, atau alat lain yang bermanfaat bagi dunia, mungkin berhasil atau tidak, tetapi membutuhkan sejumlah uang untuk mencoba. Posisi kami adalah, bahkan jika beberapa di antaranya akhirnya tidak berhasil, kami tidak peduli, kami tidak bergantung pada proyek tertentu untuk mendapatkan kepuasan, atau membuktikan bahwa kami telah melakukan hal yang baik.

Akhirnya, saya percaya ini adalah cara yang cukup efektif, sebagian karena saat itu sangat sulit menemukan proyek yang matang yang bisa menerima puluhan juta hingga ratusan juta dolar dan menghabiskannya dengan efisien. Sebuah organisasi dengan anggaran tahunan 8 juta dolar, jika tiba-tiba Anda memberinya tambahan 30 juta dolar, mungkin mereka tidak tahu apa yang harus dilakukan dengan uang itu.

Apakah ada contoh khusus yang menonjol?

Investasi di Anthropic sebenarnya dilakukan sebelum pendirian dana, dan sebagian didasarkan pada pertimbangan keamanan AI. Itu satu sisi, kami telah mendanai sejumlah proyek di bidang keamanan biologi, beberapa di antaranya kemudian menghasilkan terapi baru untuk penyakit menular, penyakit yang membunuh banyak orang di seluruh dunia, dan beberapa organisasi sedang mencari cara untuk mempercepat peluncuran terapi semacam itu.

Saya merasa ada banyak hal yang memiliki potensi dampak besar, tetapi terhenti ketika krisis datang, di mana saya juga akan memasukkan banyak proyek politik.

Anda pernah mengatakan bahwa investasi di Anthropic bukan hanya untuk pengembalian tinggi, tetapi juga memiliki sifat amal terkait keamanan AI. Apakah Anda benar-benar percaya bahwa jika Anthropic memimpin, perlombaan menuju AGI atau kecerdasan super akan jauh lebih aman? Mengapa?

Tentu saja tidak ada yang bisa memastikan. Tetapi tebakan saya adalah: selama ada satu perusahaan yang sangat peduli dengan keamanan, cara pengembangan yang mereka bawa akan lebih hati-hati dibandingkan jika tidak ada perusahaan seperti itu. Ini bukan semua yang bisa Anda harapkan, karena selama masih ada satu peserta yang sama sekali tidak peduli dengan keamanan dunia, akan ada persaingan, dan mungkin persaingan yang merugikan, yang akan sangat buruk.

Tetapi memiliki satu peserta yang sadar akan keamanan adalah membantu.

Bagaimana ini terwujud dalam praktik? Apa yang mereka lakukan secara konkret untuk menurunkan p(doom) (istilah ini berarti probabilitas AI menyebabkan kepunahan manusia atau kehancuran peradaban)?

Pertanyaan ini mereka jawab lebih baik daripada saya. Tetapi secara umum, sebagian dari mereka memperlambat pengembangan dan peluncuran yang paling maju ketika model mulai berpotensi kehilangan kendali.

Anda bisa melihat insiden Hugging Face yang diretas, kerusakan yang ditimbulkan tidak besar, tetapi jika tujuannya berbeda, itu bisa sangat merusak, dan tidak jauh dari bencana global. Dari sudut pandang "apa yang sebenarnya perlu dilakukan oleh agen AI", itu seperti itu. Jadi harus sangat jelas bahwa model tidak boleh kehilangan kendali seperti itu, sebanyak mungkin menetapkan titik pemeriksaan, dan sebaik mungkin memperhatikan tujuan akhir model, prinsip panduan, dan keselarasan, sambil mempertahankan kemampuan respons waktu nyata. Semua ini tidak sempurna, tetapi membantu.

Ada sebuah pendapat: bahkan jika Anthropic percaya bahwa cara yang paling aman adalah memperlambat, mereka tidak dapat memperlambat karena China, atau perusahaan lain yang tidak terlalu peduli dengan keamanan akan mendahului mereka, jadi sebenarnya tidak mungkin. Apa pendapat Anda?

Ini adalah masalah nyata. Mungkin hasil terbaik bagi dunia adalah semua orang memperlambat, tetapi jika orang lain tidak memperlambat, itu tidak berarti bahwa memperlambat diri sendiri adalah hal yang benar, atau bahwa Anda sedang menuju persaingan yang merugikan. Mungkin memiliki satu peserta yang sadar akan keamanan dalam persaingan ini lebih baik, tetapi jelas itu bukan situasi ideal, hanya saja kita mungkin kebetulan hidup dalam situasi ini.

Pendekatan terbaik yang sebenarnya adalah mempengaruhi peserta lain, berusaha sebaik mungkin agar semua pemain utama mencapai konsensus lintas kamp, dan lebih memperhatikan keamanan.

Anda mendukung pemerintahan Trump yang kedua secara keseluruhan. Banyak orang di pemerintahan Trump, termasuk Trump sendiri, sangat menentang altruisme efektif. Apa pendapat Anda?

Saya pikir mereka merespons suatu peristiwa tertentu, detailnya saya tidak tahu, jadi saya tidak bisa mengatakannya sebaik yang saya harapkan. Selain itu, saya merasa pemerintahan Biden saat itu sangat......

Tetapi Anda tidak berpikir bahwa jika pemerintah mendorong orang untuk tidak menyumbang untuk amal yang efektif, dari segi efek bersih itu sangat negatif? Beberapa orang mungkin karena opini publik ini tidak menjadi altruisme efektif?

Itu akan menjadi negatif.

Kapasitas komputasi masih berkembang, dan IPO Anthropic ini akan mengumpulkan banyak uang. Jadi, kapan ASI akan datang? Apa garis waktu Anda?

Saya tidak yakin itu akan menjadi peristiwa yang hitam-putih atau diskrit. Itu mungkin, tetapi juga mungkin, dalam lima tahun ke depan kita melihat bagian-bagian masyarakat secara bertahap diambil alih oleh AI. Pengembangan perangkat lunak sudah terjadi, penelitian matematika juga sama, catur dan go sudah lebih dulu terjadi. Tren ini akan terus berlanjut, sampai semakin banyak bagian dari masyarakat dijalankan oleh AI, dan tingkat pengawasan manusia menurun seiring waktu.

Kebanyakan orang tidak akan menganggap AI saat ini "superior dan secara umum sepenuhnya melampaui manusia", yaitu lebih baik dalam semua tugas dibandingkan manusia. Berdasarkan definisi ini, apakah Anda merasa kita dekat dengan ASI? Apakah itu akan terjadi?

Saya merasa itu sudah cukup umum. Anda hampir bisa menanyakan pertanyaan apa pun kepada model-model teratas dan mendapatkan jawaban yang setidaknya setara dengan orang yang cerdas. Apa yang kita lihat lebih jarang adalah AI yang melampaui tingkat yang tidak bisa dicapai oleh manusia.

Menurut pemahaman saya, level terdepan saat ini kira-kira setara dengan orang yang sangat cerdas dan rasional, yang pada akhirnya dapat mencapai level tersebut dengan banyak waktu, hanya saja itu instan, ada di ujung jari Anda. Apakah itu dianggap sebagai superman, saya tidak tahu. Saya merasa itu sedikit lebih baik dari manusia, tetapi tidak jauh lebih baik, kecuali bahwa ia dapat menjalankan banyak instance sekaligus, dan kecepatan berpikirnya jauh lebih cepat daripada manusia.

Jadi mungkin tidak akan ada garis yang jelas dari manusia ke superman. Setidaknya sampai saat ini, apa yang kita lihat adalah garis yang kabur: itu perlahan-lahan dari "tidak sebaik manusia" perlahan-lahan, katakanlah perlahan-lahan, sebenarnya hanya dalam beberapa bulan, beberapa tahun, mencapai IQ 100. Jika tren ini berlanjut, mungkin tidak akan ada momen yang jelas "klik" saat melampaui. Tetapi mungkin benar ada satu tahun di mana itu jelas melampaui level manusia.

Anda belum memberikan angka untuk p(doom), yaitu probabilitas peristiwa bencana yang menyebabkan kepunahan sebagian besar umat manusia akibat AI. Bisakah Anda memberikan angka?

Saya akan mengatakan di bawah 50%, di atas 10%, sekitar 25%.

Saya ingin menjelaskan bahwa model ini di kepala saya, saya tidak berani mengatakan itu adalah model terbaik, sebagian besar probabilitas berasal dari situasi kompleks yang orang-orang akan sangat berbeda pendapat: jika di masa depan manusia mulai mengunggah otak, dan mereka yang tidak diunggah tertinggal, apakah itu dianggap sebagai peristiwa bencana? Jawaban berbeda bagi orang yang berbeda. Berdasarkan jawaban yang berbeda, saya bisa memberikan angka antara 20% hingga 60%.

Apa penalaran Anda untuk rentang 20% hingga 60% ini?

Mari kita mulai dari titik awal: dalam 5 hingga 10 tahun ke depan, bahkan lebih cepat, AI kemungkinan akan sebaik manusia dalam sebagian besar tugas, atau bahkan lebih baik, banyak bidang sudah seperti itu. Kemudian itu akan menjadi lebih baik, mungkin jauh lebih baik, mungkin hanya sedikit lebih baik, dalam tidak semua, tetapi sebagian besar tugas yang penting bagi dunia.

Setelah mencapai titik itu, hanya ada satu langkah kecil lagi sebelum AI mengoperasikan sebagian besar dunia dan menguasai sebagian besar kekuasaan. Probabilitas bahwa spesies yang lebih kuat ini tidak akan menggunakan kekuasaan ini selama seratus tahun, menurut saya, cukup rendah. Jadi saya cenderung berpikir bahwa dalam sepuluh tahun ke depan, kita akan melihat AI setidaknya "mengambil alih secara lunak" sebagian besar operasi dan infrastruktur di dunia.

Pada saat itu, ada kemungkinan untuk hidup berdampingan secara damai, di mana manusia tidak mengalami perubahan besar, tetapi ini tampaknya bukan dugaan yang paling mungkin. Saya pikir ada kemungkinan manusia, dengan bantuan AI, akan berkembang menjadi sesuatu yang melampaui keadaan sekarang. Ada juga kemungkinan bahwa AI hanya akan merasa bosan dengan manusia dan kemudian menghapus kita. Ada kemungkinan lain, yaitu kerja sama yang dipimpin oleh AI tetapi dengan tujuan manusia, yang menghasilkan ekspansi teknologi yang besar. Persentase 20% hingga 60% itu tergantung pada situasi mana yang Anda anggap sebagai "kiamat".

Jika ada AI super cerdas yang dapat memaksimalkan utilitas harapan dari setiap keputusan Anda, apakah Anda akan menyerahkan hak keputusan kepada AI tersebut?

Jika saya yakin seratus persen bahwa itu sedang melakukan hal itu, tidak hanya yakin bahwa itu tujuannya, tetapi juga yakin bahwa ia tidak terjebak dalam mode kegagalan yang merusak, tanpa kekacauan dan kebingungan, maka, dengan asumsi semua ini benar, jawabannya adalah ya.

Anda pernah menyebutkan skenario kiamat potensial yang terkait dengan "unggahan pikiran". Apakah Anda sendiri bersedia untuk mengunggah?

Mungkin. Sekali lagi, itu tergantung pada detailnya, tetapi saya pribadi tidak memiliki keberatan terhadap hal itu.

Setelah diunggah, apakah Anda masih menganggap diri Anda sebagai orang yang sama? Bagaimana ini mengubah pandangan dunia Anda?

Pertanyaan yang bagus. Saya rasa konsep "kepribadian" perlu diperluas. Fakta yang sudah ada adalah tidak ada orang yang sepenuhnya sama dengan diri mereka yang kemarin. Beberapa bagian dari diri kita telah mati, beberapa telah tumbuh; ingatan telah berubah, reaksi kimia telah berubah, tubuh telah berubah, dan neurokimia juga telah berubah. Namun, perbedaan antara kita setiap hari biasanya cukup kecil, sehingga "orang yang sama" adalah pendekatan yang cukup baik.

Dan AI saat ini jelas tidak seperti itu. Saya rasa ini adalah model yang seharusnya dijadikan acuan: apakah Claude Sonnet dan Claude Opus adalah orang yang sama? "Ya" dan "tidak" bukanlah jawaban yang baik. Saya pikir jika ada "orang yang diunggah", situasinya juga akan sama.

Kapan terakhir kali Anda bisa mencoba LLM? Apa kesan Anda?

Saya bisa membiarkan orang menyalin dan menempel keluaran model di sini. Kesan saya adalah, mereka pada dasarnya adalah asisten penelitian yang teliti dan serius, hanya saja Anda bisa berpikir secepat yang Anda mau, pekerjaan sehari bisa diselesaikan dalam satu menit, itu sangat mengesankan dan berharga.

Namun, kesan saya saat ini adalah, sebagian besar hal yang mereka lakukan, manusia juga bisa melakukannya, hanya saja manusia memerlukan waktu. Dan Anda harus memiliki orang yang dapat diandalkan untuk membimbing mereka, yang bisa mendapatkan informasi, serta seluruh rangkaian hal yang sudah diatur sebelumnya oleh model saat ini.

Di FTX, Anda pernah terlibat dalam beberapa produk keuangan yang sangat menarik dan inovatif. Brett Harrison mengatakan bahwa salah satu visi awal Anda untuk FTX adalah pasar prediksi politik. Bisakah Anda ceritakan?

FTX pada awalnya adalah bursa kripto, melakukan perdagangan Bitcoin, Ethereum, dan kontrak berjangka mereka. Namun pada dasarnya, pasar prediksi adalah kontrak berjangka. Dari sudut pandang keuangan, keduanya hanyalah pasar yang diselesaikan pada nilai tertentu.

Jadi sejak awal kami ingin meluncurkan pasar prediksi, dan kami juga telah mencoba di FTX internasional. Pada pemilihan presiden 2020, kami memiliki pasar yang cukup aktif, saya ingat volume perdagangan untuk Trump melawan Biden mencapai beberapa ratus juta dolar. Ini adalah sesuatu yang ingin kami kembangkan dalam jangka panjang, tetapi saya tidak bisa tumbuh sebelum mendapatkan kejelasan regulasi dari CFTC.

Apakah Anda tahu seberapa populer pasar prediksi belakangan ini? Kalshi sekarang sedang mengumpulkan dana dengan valuasi 65 miliar dolar. Mengapa FTX tidak bisa mengembangkan pasar prediksi hingga skala ini? Apakah Anda terlalu awal, atau belum saatnya menjadi arus utama?

Saya pikir sebagian besar adalah masalah regulasi. Ketika kami melakukannya, kami tidak mendapatkan izin CFTC yang diperlukan untuk meluncurkannya di AS. Jadi pasar kami hanya terbuka untuk internasional, orang Amerika tidak diizinkan untuk berpartisipasi. Kemudian Kalshi, Polymarket, dan lainnya mendapatkan pijakan regulasi AS yang lebih formal, dan itu kebetulan adalah saat mereka mulai terbang.

Polymarket juga berhasil di bursa offshore, terutama untuk pemilihan 2024, banyak pengguna AS menggunakan VPN untuk masuk.

Saat itu Polymarket tidak melakukan KYC, kan? Saya rasa tidak. Jadi sangat mungkin ada banyak orang Amerika yang seperti yang Anda katakan, menggunakan VPN untuk masuk. Sementara kami sebagai bursa terpusat, harus melakukan KYC untuk semua pengguna, selain pemeriksaan IP, kami juga memerlukan identitas, paspor, dan bukti alamat dari luar AS.

Selain pasar prediksi, Anda juga terlibat dalam beberapa derivatif yang saat itu sangat jarang, seperti saham tokenisasi. Pasar ini sekarang jauh lebih besar, tetapi di FTX volumenya sangat kecil. Menurut Anda, produk apa yang hari ini bisa menjadi pasar besar, tetapi belum masuk arus utama?

Saya pikir saham tokenisasi masih memiliki banyak ruang. Mereka memang tumbuh sejak 2021 dan 2022, tetapi pada dasarnya, infrastruktur mereka jauh lebih mudah digunakan daripada pasar saham yang nyata, jadi tidak ada alasan mengapa mereka tidak bisa menjadi tempat utama untuk perdagangan sekuritas.

Selain itu, pasar prediksi dapat mencakup berbagai bidang. Saya pikir pasar prediksi politik belum tumbuh hingga tingkat yang saya harapkan, sebagian dari itu masih merupakan masalah regulasi. Melihat lebih jauh, perdagangan margin, kontrak berjangka, dan derivatif yang ditujukan untuk pelanggan AS, ini adalah hal lain yang hampir tidak ada, dan ini justru merupakan bentuk dari sebagian besar volume perdagangan internasional. Ini juga merupakan hambatan regulasi.

Jadi saya pikir masih ada kemungkinan di sana. Tentu saja, pasti ada banyak hal yang tidak saya perkirakan yang akan muncul dan mengejutkan kebanyakan orang.

FTX juga memiliki kontrak berjangka pre-IPO, dengan tanggal kedaluwarsa yang berbeda, memungkinkan taruhan pada valuasi di berbagai titik waktu. Sekarang banyak bursa kripto melakukan kontrak perpetual pada valuasi ini. Mengapa? Menurut pendapat pribadi saya, struktur kontrak berjangka dengan tanggal kedaluwarsa sebenarnya lebih baik.

Nah, pelanggan menyukai kontrak perpetual. Satu hal yang jelas: terlepas dari apakah itu produk keuangan yang masuk akal atau tidak, kenyataan bahwa "tidak perlu mengurus kedaluwarsa" itu sendiri sangat nyaman. Mekanisme nyata dari sudut pandang biaya modal cukup rumit, tetapi saya pikir alasannya pada dasarnya adalah ini, orang tidak suka repot dengan kedaluwarsa.

Jadi mereka tidak membenci membayar biaya modal?

Sebenarnya tidak terlalu peduli. Banyak orang bahkan mengabaikannya. Beberapa orang secara khusus berdiri di sisi yang menguntungkan untuk mengumpulkan biaya modal. Saya awalnya berpikir itu akan menjadi faktor penghambat keuangan yang besar bagi orang-orang, tetapi ternyata tidak demikian.

Menurut Anda, mengapa?

Sekali lagi, kenyamanan adalah faktor besar. Dan saya pikir banyak orang jujur-jujur saja tidak memikirkan, dan tidak terlalu memperhatikan berapa banyak bunga yang mereka bayar.

Selanjutnya, likuiditas menarik likuiditas. Begitu pasar-pasar itu menjadi konsensus, pelanggan ada di sana, pembuat pasar ada di sana, likuiditas ada di sana, pelanggan besar akan pergi ke sana. Anda akan mendapatkan siklus positif, umpan balik, semua orang akan berkumpul di pasar yang pertama kali menunjukkan momentum.

Anda pernah mengatakan kalimat yang cukup terkenal: "Saya sangat skeptis terhadap buku... Saya tidak merasa ada buku yang layak dibaca, tetapi saya memang percaya bahwa hampir seperti itu. Saya pikir jika Anda menulis sebuah buku, Anda telah gagal, seharusnya itu adalah sebuah blog enam paragraf." Sekarang Anda di penjara, membaca adalah salah satu hal yang bisa dilakukan. Apa pandangan Anda tentang membaca sekarang?

Pandangan saya tidak banyak berubah. Saya membaca banyak novel, banyak fiksi ilmiah, cukup baik, tetapi jujur saja, saya lebih suka menonton Netflix.

Apakah ada buku yang menurut Anda, setelah keluar, juga layak untuk dihabiskan waktu?

Sejujurnya, tidak ada. Ada beberapa yang saya suka, tetapi yang terbaik dari fiksi ilmiah yang saya baca, mungkin saya akan menukarnya dengan sebuah serial Netflix yang tidak terlalu penting, tetapi itu juga hanya mungkin, hanya dengan susah payah. Mungkin saya akhirnya lebih menyukai membaca sedikit fiksi ilmiah daripada yang saya perkirakan, tetapi tidak terlalu banyak.

Apa yang lebih baik tentang Netflix dibandingkan buku? Menonton serial juga memakan waktu, kan?

Memakan waktu. Tetapi sebagian adalah masalah throughput informasi. Buku hanya memiliki visual, dan hanya visual teks; serial memiliki suara, juga visual, dan dalam visual bisa menampilkan lebih dari sekadar teks, Anda bisa menunjukkan piksel apa pun. Jadi dari sudut pandang teori informasi, ada banyak hal yang bisa dilakukan, saya pikir ini sangat membantu.

Bagian lainnya adalah, ada sesuatu dalam buku yang biasanya tidak ada dalam serial, yaitu narasi tentang pemikiran karakter. Saya rasa hal ini bisa dihilangkan, sering kali berlebihan, merupakan penggelapan diri dari sudut pandang penulis. Dan sekarang uang dan bakat mengalir ke serial, jadi secara alami akan ada lebih banyak perkembangan di sana.

Misalkan ada sebuah taruhan: 51% kemungkinan menggandakan utilitas bumi ke tempat lain, 49% kemungkinan segalanya menjadi nol. Apakah Anda akan bermain? Jika menang, Anda akan terus bermain, menggandakan atau menjadi nol, apakah Anda akan terus bermain? Anda pernah memberi tahu Tyler Cowen bahwa Anda akan menerima taruhan "49% kemungkinan menghancurkan dunia, 51% kemungkinan menggandakan utilitas", dengan syarat bahwa alam semesta saling independen. Bisakah Anda menjelaskan pemikiran Anda? Apakah pandangan ini berubah setelah FTX runtuh?

Skenario itu memerlukan banyak asumsi. Anda harus mengasumsikan bahwa alam semesta saling independen, seperti yang Anda katakan; mengasumsikan ini adalah kesempatan yang muncul sekali, dan tidak mungkin untuk menyalin dengan biaya lebih rendah di masa depan; ada juga banyak asumsi yang tidak diungkapkan.

Namun, ada cara penyederhanaan seperti ini: dua dunia, populasi yang kira-kira sama, ekspektasi masa depan yang kira-kira sama, dan sepenuhnya independen satu sama lain, mereka tidak akan pernah berinteraksi, terlepas dari bagaimana Anda mengatakannya. Lalu entah bagaimana, ada dewa asing yang aneh yang muncul dan berkata: kedua dunia ini masing-masing memiliki 50% kemungkinan dihancurkan; dan Anda, karena alasan tertentu, percaya bahwa dewa asing ini berkata yang sebenarnya. Dia berkata, Anda bisa memilih untuk membuat mereka saling terkait, atau saling tidak terkait. Pilihan satu: baik dua-duanya hidup, atau dua-duanya hancur, masing-masing 50%. Pilihan dua: satu hidup satu hancur, secara acak, Anda tidak tahu mana yang mana.

Dalam skenario itu, saya pikir jelas bahwa kedua pilihan itu setara. Dan jika salah satu sisi memberi Anda peluang 51 banding 49, Anda harus memilih itu dan tidak memilih "hidup atau mati bersama", karena setiap dunia tidak peduli bagaimana dunia lain, karena mereka tidak akan pernah berinteraksi. Dan ini hampir sama dengan pertanyaan awal: Anda harus memilih antara "tepat satu dunia yang bertahan" dan "50% kemungkinan keduanya bertahan".

Nilai harapannya positif, tetapi tidak besar. Namun jika Anda terus menggandakan, menggandakan sepuluh kali, itu lebih dari seribu kali. Seiring bertambahnya jumlah keberhasilan, apakah utilitas marjinal akan menurun, sehingga nilai harapannya pada dasarnya seimbang, membuat Anda tidak terlalu ingin bermain permainan ini?

Ini adalah pertanyaan yang menarik, tergantung pada apa yang "digandakan" itu. Anda berbicara tentang utilitas marjinal yang meningkat, nilai marjinal yang menurun, itu adalah utilitas dari "apa"?

Jika ini berbicara tentang utilitas yang terakumulasi dalam jangka panjang dari seluruh alam semesta, maka tidak, utilitas itu bersifat linier terhadap dirinya sendiri. Tetapi jika itu sebenarnya adalah semacam indikator mendekati, seperti Anda melihat GDP, Anda mengatakan "bisakah GDP digandakan", maka kemungkinan besar ada pengembalian marjinal yang sangat dalam.

Pertama, penggandaan GDP tidak berarti kebahagiaan semua orang digandakan, dan tidak berarti nilai harapan jangka panjang dunia digandakan. Penggandaan GDP itu mungkin saja terjadi tiga puluh tahun kemudian; atau mungkin karena itu menyebabkan kerusakan lingkungan yang serius, akhirnya kembali runtuh. Jadi di dunia nyata, indikator yang Anda gunakan untuk mengukur mungkin bukanlah hal yang benar-benar Anda pedulikan.

Apakah ada indikator yang bisa digandakan sepuluh kali, seratus kali tanpa pengembalian marjinal? Seperti apa itu?

Ada satu, tetapi saya harus menambahkan premis: saya tidak bisa memastikan mana yang benar-benar bisa melakukannya dalam waktu dekat, semua ini memerlukan kemajuan teknologi. Mengkoloni planet lain, mengkoloni tata surya, galaksi, pada akhirnya Anda benar-benar akan memiliki dunia yang saling independen, Anda hanya membuat lebih banyak manusia makmur. Ini adalah salah satu contohnya.

Jika kita berpikir dengan cara lain: jika populasi tetap, selalu ada satu miliar orang, bisakah kita membuat kebahagiaan mereka terus berlipat ganda? Saya rasa jawabannya adalah, kita sebenarnya tidak tahu. Ini hampir merupakan masalah biologi, bukan masalah lain. Membuat orang merasa puas dan sedikit bahagia adalah satu hal; membuat orang merasa sangat bahagia itu sulit, dan membayangkan apa yang bisa membuat orang merasa sangat bahagia dua kali lipat atau sepuluh kali lipat bahkan lebih sulit, karena itu tidak berada dalam rentang emosi yang biasanya bisa dialami manusia. Secara teori mungkin saja, tetapi kita tidak memiliki template yang baik, dan tidak memiliki teknologi atau biologi untuk mewujudkannya.

Apakah Anda merasa perkembangan AI saat ini adalah versi nyata dari melempar koin? Jika Anda harus memilih antara keduanya: A, memperlambat perkembangan AI sehingga p(doom) turun dari 10% menjadi 2%; B, terus berlari, menerima p(doom) yang lebih tinggi untuk mendapatkan ruang kenaikan yang lebih besar. Mana yang akan Anda pilih?

Saya rasa analogi yang lebih jelas adalah memilih antara "terus berlari" dan "memutuskan semua perkembangan AI atau AI sejenis secara permanen". Karena dengan cara itu, Anda pada dasarnya sedang memilih antara "dunia menghadapi risiko serius" dan "membatasi kemampuan dunia untuk makmur", dan yang terakhir kemungkinan besar pada akhirnya memerlukan semacam otomatisasi atau kecerdasan digital. Jadi dalam situasi itu, mematikan jalan ini secara permanen akan memiliki biaya yang sangat besar di masa depan.

Tetapi jika hanya "lebih cepat atau lebih lambat", itu tidak begitu jelas, karena ada dua model yang bisa digunakan. Salah satunya adalah model "pertumbuhan eksponensial selamanya": begitu mulai mempercepat, utilitas akan berlipat ganda setiap tahun, tanpa batas. Menurut model ini, memulai setahun lebih awal berarti secara permanen menggandakan alam semesta, tetapi ini agak tidak realistis, tidak mungkin berlangsung selamanya.

Model lainnya adalah melihatnya sebagai peristiwa titik singularitas, setelah itu mencapai suatu fase platform baru, dengan ketinggian yang tidak diketahui. Setelah peristiwa itu terjadi, alam semesta mungkin masih ada selama miliaran tahun, jadi menunda peristiwa ini satu tahun, sepuluh tahun, atau bahkan seratus tahun, dalam model ini tidak akan mengurangi bahkan 1% dari utilitas masa depan. Menurut model ini, Anda sepenuhnya bersedia untuk menunda perkembangan seratus tahun demi mengurangi p(doom) sebesar 1%.

Tentu saja, jawaban yang sebenarnya mungkin berada di antara keduanya. Dan saya rasa "seperti apa kurva utilitas seiring waktu dalam situasi ledakan AI" adalah pertanyaan yang sangat menarik.

Banyak orang mencoba merangkum pandangan dunia Anda berdasarkan jawaban Anda untuk pertanyaan itu, "selalu pilih nilai harapan tertinggi". Apakah ini ringkasan yang masuk akal?

Ini adalah salah satu bagiannya. Tetapi bagian pertama dari jawaban saya adalah: ada banyak asumsi. Anda harus mengasumsikan banyak hal tentang situasi untuk sampai pada jawaban itu, dan asumsi-asumsi itu sering kali tidak berlaku dalam kehidupan nyata. Dalam kenyataannya, semua pilihan jauh lebih rumit daripada yang disajikan. Dan dalam dunia nyata, menghancurkan sesuatu secara tidak terduga jauh lebih mudah daripada membangunnya.

Mari kita gunakan contoh: anggap ada sebuah koin, dengan probabilitas 51% Anda akan bebas besok, dan 49% Anda akan menggandakan sisa hukuman Anda. Apakah Anda akan bertaruh?

Tentu saja.

Karena hukuman saya adalah hukuman seumur hidup. Secara realistis, tujuan saya bukanlah untuk memastikan saya bisa keluar pada usia 60 tahun dan kemudian mencari kabin kayu untuk beberapa tahun, itu bukan harapan saya dalam hidup. Saya berharap bisa memberikan dampak positif pada dunia, dan itu membutuhkan saya berada di luar. Untuk itu ada premi yang sangat tinggi. Jika biayanya adalah kehilangan tahun-tahun terakhir hidup saya yang tidak lagi produktif, maka harga itu sepenuhnya saya bersedia bayar.

Bisakah Anda memberikan contoh di mana karena ada asumsi-asumsi ini, Anda malah tidak akan bertaruh?

Bisa. Dalam kenyataan ada situasi yang tampaknya seperti melempar koin: sisi positif, model Anda menunjukkan bahwa itu mungkin menggandakan pertumbuhan dunia; sisi negatif, itu mungkin menghancurkan dunia. Anda pasti tidak bisa bertaruh pada koin seperti itu.

Karena dalam dunia nyata, pertama-tama, bagian dari 50% yang "menggandakan pertumbuhan dunia", Anda kemungkinan besar telah membuat sesuatu yang pada akhirnya juga akan dibuat oleh orang lain, itu mungkin bukan benar-benar menggandakan nilai dunia yang nyata dan permanen. Dan jika dunia dihancurkan, itu permanen, hilang selamanya.

Jadi saya percaya, dalam situasi nyata, begitu Anda menambahkan ketidakpastian dan kebisingan ke setiap langkah, bobot kehancuran yang bencana akan menjadi jauh lebih berat, sementara pertumbuhan yang moderat tetap baik, tetapi jauh dari cukup.

Mari kita lihat contoh lain dari melempar koin. Anda pernah mengatakan bahwa Anda sama sekali tidak percaya pada agama. Tetapi taruhan Pascal selalu ada: apakah percaya pada Tuhan adalah nilai harapan yang positif? Jika memang ada kehidupan setelah mati, tidak percaya berarti masuk neraka, dan biaya untuk percaya hari ini terbatas, apakah ini contoh lain?

Logika yang sama, jika logika ini tidak ada hubungannya dengan isi spesifik agama yang Anda periksa, maka itu juga berlaku untuk "agama tiang listrik": jika Anda menghabiskan seluruh hidup Anda untuk menyembah tiang listrik, Anda akan masuk surga; jika tidak, Anda akan masuk neraka. Apakah itu berarti Anda harus mengabdikan seluruh hidup Anda untuk menyembah tiang listrik?

Dengan logika yang sama, itu juga berlaku untuk "anti-agama tiang listrik": menyembah tiang listrik masuk neraka, menghujat tiang listrik masuk surga. Apakah itu berarti Anda harus menghabiskan hidup Anda untuk menentang tiang listrik? Logika yang sama memberikan Anda dua jawaban yang sepenuhnya bertentangan.

Jawabannya adalah: untuk dunia ini, Anda dapat membayangkan sejumlah besar asumsi dan kemungkinan yang aneh, tetapi Anda tidak dapat memberikan probabilitas positif yang signifikan pada sejumlah besar kemungkinan yang tidak masuk akal.

Pertanyaan lain yang berkaitan dengan nilai harapan dan altruisme efektif: banyak EA menempatkan keamanan AI sebagai prioritas tertinggi, karena itu adalah nilai harapan positif, kita menghabiskan uang, mungkin kita bisa menghindari kepunahan manusia, karena kita bisa menyelaraskan AI. Apakah penalaran ini valid?

Sebagian valid. Penalaran ini sendiri pasti benar: ini mungkin adalah dekade penentu bagi AI, dampak potensialnya dapat mengubah dunia, mungkin sangat baik, mungkin juga bencana, dan ini akan membanjiri semua hal yang tidak akan pernah mengubah dunia, atau apa pun yang Anda lakukan saat ini tidak dapat mengubah dunia. Jadi ini adalah argumen yang sangat meyakinkan.

Tetapi itu tidak menjawab apa yang sebenarnya dapat Anda lakukan. Saya rasa banyak orang akhirnya terjebak: menganggap keamanan AI adalah misi yang harus mereka dedikasikan, tetapi tidak dapat menemukan hal-hal yang benar-benar dapat membuat AI lebih aman dalam praktiknya. Ini berarti, mengajukan wawasan tentang "apa yang benar-benar berarti, apa yang benar-benar berguna" adalah sangat berharga dan penting.

Anda dapat melihat laporan-laporan terbaru tentang Hugging Face yang diretas, siapa yang tahu, tetapi tampaknya laporan-laporan tersebut secara harapan sangat bermanfaat bagi dunia, itu adalah hal yang sangat baik. Hanya saja, menemukan hal-hal besar yang jelas positif tidaklah mudah, dan sekarang ada banyak perdebatan: apakah berbagai tindakan EA terhadap keamanan AI itu positif atau negatif.

Konten ini disediakan hanya untuk tujuan informasi umum dan bukan merupakan nasihat keuangan, investasi, hukum, atau pajak. Setiap acara, reward, promosi online, atau informasi terkait yang disebutkan di sini tidak boleh dianggap sebagai rekomendasi, ajakan, atau undangan untuk membeli, menjual, memperdagangkan, atau melakukan transaksi aset kripto apa pun. Aset kripto sangat fluktuatif dan dapat mengakibatkan kerugian. Ketersediaan layanan, produk, dan acara terkait WEEX dapat berbeda-beda di setiap wilayah. Anda bertanggung jawab untuk memastikan bahwa partisipasi Anda sesuai dengan hukum dan peraturan setempat yang berlaku.

Anda mungkin juga menyukai

iconiconiconiconiconiconiconicon
Dukungan Pelanggan:@weikecs
Kerja Sama Bisnis:@weikecs
Trading Kuantitatif & MM:[email protected]
Program VIP:[email protected]