人工智慧與人類滅絕：2000億美元的危險？

*沒有良知的科學只是靈魂的毀滅。*拉伯雷在五個世紀前就已經說過這句話，當時人工智慧尚未出現。山姆·奧特曼、喬弗瑞·辛頓、巴拉克·奧巴馬、聯合國，甚至維塔利克·布特林都在紙面上表達了對同一危險的擔憂。這種危險是指一種可能失控的人工智慧。然而，一旦深入探討，大家所談論的卻不盡相同。有的人擔心人類的滅絕，另一些人則擔心數百萬個工作崗位的消失，或是權力集中在三家美國公司手中，還有一些人擔心他們的中國鄰居會取得過大的優勢。雖然使用了同一個詞「警告」，但其背後卻隱藏著三種幾乎毫無共同之處的邏輯，除了它們所借用的詞彙。
本文的要點：

• 多位影響力人物，包括山姆·奧特曼和喬弗瑞·辛頓，對人工智慧失控的可能性表示擔憂。
• 一場持續的辯論將那些擔心人工智慧導致人類滅絕的人與那些關心工作和算法偏見的即時後果的人對立起來。

滅絕還是工作崗位被摧毀：人工智慧的恐懼並不來自同樣的原因

在2023年3月，加州的人工智慧安全中心發起了一項研究，讓350多位領導者和研究人員簽署了一句話。這句話將對人工智慧相關的滅絕風險的鬥爭提升為全球優先事項，與疫情或核戰爭同等重要。

簽署者中包括山姆·奧特曼、德米斯·哈薩比斯和達里奧·阿莫德伊。這三位負責的正是該領域最先進的實驗室，分別是OpenAI、Google DeepMind和Anthropic。喬弗瑞·辛頓和約書亞·本吉奧，這兩位在二十年前奠定深度學習基礎的人，也簽署了。

兩年半後，在2025年10月，生命未來研究所進一步推進，發表了其《超智能聲明》。再次，超過800個簽名，包括史蒂夫·沃茲尼亞克、理查德·布蘭森和哈利王子。他們要求禁止開發超智能，直到科學共識和公眾接受能夠保證其安全。 本吉奧再次參與其中。

與這兩份文件相比，另一組研究人員多年來一直在研究完全不同的領域。即招聘或預測司法中的算法偏見。這也涉及到整個職業的脆弱化，以及少數幾家美國公司集中全球計算能力。對於這一陣營，通常被稱為人工智慧倫理，談論人類滅絕會轉移注意力，讓人忽視已經可測量的損害，這些損害影響的是當前的特定工人，而不是五十年後的抽象人類。兩個陣營都使用「風險」這個詞，但他們談論的卻不是同一種風險。

奧特曼與馬斯克：縱火的消防員

讓我們回到這些簽署的善良靈魂。山姆·奧特曼在2023年5月簽署了人工智慧安全中心的文本。同年，OpenAI從微軟籌集了100億美元，並開始了市場上最強大模型的競賽。

到2026年，該公司提交了上市申請，卻從未放慢對計算能力的追求。然而，正當我們撰寫這篇文章時，它今天早上宣布將在今年撤回這一計劃。警告人類滅絕的同時又追逐下一輪融資，這種模糊性令人困惑。

艾隆·馬斯克並不落後。2023年3月，他也共同簽署了未來生命研究所的信件。該信件要求對最強大的模型的訓練暫停六個月。四個月後，xAI成立。Grok，這個模型，今天運行在有史以來最大的計算集群之一上。這個暫停，沒有人曾經實施過。

在Anthropic，達里奧·阿莫代伊定期發佈詳細的文本，並附上數據支持。他詳細說明了邊界模型可能失控的情境。與此同時，Anthropic的目標是為其首次公開募股創造紀錄估值。該公司在與五角大樓就其模型的軍事用途進行了一場備受關注的較量中獲勝。

我們幾乎可以將其視為曼哈頓計劃的翻版。建造炸彈的物理學家也是第一批人。在廣島和長崎被抹去之後，他們要求對他們剛剛交付的武器進行國際控制。這種比較是有其局限性的。奧本海默從未就鈾的版稅進行談判。這三位人工智慧的領導者在每個季度都在啟動一台籌集資金的機器，同時發出警告。

我們必須推進邊界：我寫了一篇新文章，解釋為什麼人工智慧行業應該放慢腳步，並提出了一個三部分的計劃。

Anthropic單方面承諾採取這些步驟中的第一步。我們將向第三方評估者提供永久的、員工級別的訪問權限，讓他們能夠檢查我們的安全措施，報告事件，並在訓練過程中評估模型的一致性。
--- 達里奧·阿莫代伊 (@DarioAmodei) 2026年9月12日
<< 我們必須推進邊界：我寫了一篇新文章，解釋為什麼人工智慧行業應該放慢腳步，並提出了一個三部分的計劃。Anthropic單方面承諾實施這些步驟中的第一步。我們將向第三方評估者提供永久的、員工級別的訪問權限，讓他們能夠檢查我們的安全措施，報告事件，並在訓練過程中評估模型的一致性。>>

達里奧·阿莫代伊

歐巴馬、特朗普、北京：偽裝成安全框架的人工智慧競賽

面對這場無止境的競賽，政治界也開始介入。巴拉克·奧巴馬敦促美國民主黨制定一個明確的人工智慧計劃。他還呼籲根據《紐約時報》的報導，對模型的部署速度保持某種程度的謹慎。這一聲明恰逢特朗普政府正朝著完全相反的方向推進。一項總統令旨在阻止每個美國州單獨立法有關人工智慧，以便建立一個更為寬鬆的聯邦框架。特朗普之前的一項行政命令已經承諾將安全與創新結合在一起。事實上，這個指標明顯偏向於第二個選項。

在中國，官方言論使用與奧巴馬或未來生命研究所相同的詞彙。在2026年上海舉行的全球人工智慧峰會上，北京簽署了一項支持全球協調治理該行業的聲明。與此同時，一家中國公司被指控竊取Anthropic的模型以縮小差距，這引發了華盛頓的反擊。表面上的合作與實際的技術競賽在兩條從不交叉的軌道上前進。

歐盟選擇了相反的道路，通過人工智慧法案強制立法，自2024年起分階段實施。布魯塞爾對一個她既不擁有模型也不擁有最強大數據中心的市場進行監管。華盛頓和北京資助人工智慧。歐洲則在評論它。

鏡子，我美麗的鏡子，誰是最美的人工智慧？

在2026年7月，聯邦通信委員會（FCC）授權Reflect Orbital。這家美國初創公司將測試一面巨大的低軌道鏡子。它能夠在夜間將陽光反射到地球的特定點。其目標是向農業經營者或希望延長工作日的工地按需出售陽光。天文學家、生物學家以及多個夜空保護協會已經警告了數月。他們擔心大規模部署會造成光污染。他們還指出這會擾亂野生動物的睡眠週期，並使觀測站的影像變得無法使用。CBC已經記錄了該案的法律灰色地帶。沒有任何國際法律真正規範誰有權從太空改變鄰國的夜晚。儘管如此，FCC仍然批准了該計畫。

表面上與語言模型無關。然而，兩者之間卻存在相同的機制。一個科學社群在警告、記錄和量化風險。一個私營實體，在擁有最後決定權的監管機構支持下，仍然向前推進，因為它擁有技術能力和資金。警告從來不是問題。問題在於，無論是800位簽署《生命未來研究所》的成員，還是《人工智慧安全中心》的研究人員，甚至是巴拉克·奧巴馬，都無法對那些決定按下按鈕的人說不。

Reflect Orbital與人工智慧：相同的權力機制

在這裡，與Reflect Orbital的比較比任何與原子彈的類比都更有用。一面在軌道上的鏡子和一個擁有數百億參數的基礎模型在理論上沒有任何共同之處。然而，它們卻共享相同的決策結構。一小撮私營參與者，一個經常授權而非限制他們的監管機構。這些警告文本不斷累積，卻從未對部署時間表造成影響。FCC花了幾個月才對Reflect Orbital做出裁決。關於人工智慧的相同文本已經流傳了三年，卻沒有任何實驗室減緩其路線圖。

聯合國在今年發布的一份報告中也承認，如果在本世紀末之前沒有出現任何強制性控制機制，人工智慧可能會造成災難性損害。該文本沒有法律效力。任何國家都不必遵守。

Reflect Orbital必須在年底之前啟動其首個測試鏡子。人工智慧實驗室已經為2027年規劃了他們的下一代模型。警告文本將繼續堆積在那些從未有能力執行它們的人的辦公桌上。