前人類學研究員警告：人工智慧可能終結我們的存在

你可能已經注意到：突然之間，關於人工智慧可能毀滅人類的討論充斥著整個社會。

最新一波擔憂始於雅各布·庫克森（Jacob Cookson），這位27歲的AI研究員曾在OpenAI和Anthropic公司從事預訓練工作三年。週二，庫克森從Anthropic公司以及整個AI行業辭職，並發表了一篇迅速在網路上瘋傳的警告文章。他在X網站上寫道，那些開發世界上最強大AI系統的公司「正一頭栽進自我完善的超級智慧領域，拿我們的生命冒險」。有趣的是，他留在公司的同事們並沒有反對他的觀點。

事實上，庫克森得到了安特羅皮克公司其他研究人員的公開支持。該公司負責人工智慧協同研究的艾文霍賓格表示，他認為人工智慧在未來十年內導致人類滅絕的可能性超過10%。安特羅皮克公司的另一位人工智慧安全研究員塞繆爾·馬克斯也指出，隨著職業生涯的推進，那些與這項技術接觸越密切的人往往會變得越焦慮。

截至撰稿時，庫克森的警告已獲得 164.8 億次觀看，成為全國頭條新聞，並幫助將人工智慧實驗室多年來激烈爭論的話題帶入公眾視野。

那麼，這些研究人員究竟在擔心什麼呢？

作為一個經常關注網路新聞的人，我注意到世界各地很多人都在詢問這些警告的含義。甚至我媽媽也傳簡訊問我：「這位研究人員為什麼這麼說？」許多聊天機器人用戶根本無法想像聊天機器人會「害死我們」。但人工智慧助理並不是真正的問題。

大多數發表關於生存風險研究的科學家並不關心具有自我意識的機器人。他們關注的是程式碼、激勵機制，以及當人工智慧系統具備足夠的自主能力，能夠在我們文明賴以生存的數位和實體基礎設施中運作時，將會發生什麼。

在矽谷，這些討論被稱為“p(doom)”，該術語表達了先進人工智慧可能造成足以威脅人類生存的嚴重災難的估計機率。

這些估計值差異很大，研究人員對整個問題的可信度也有很大差異。

要點：

• 這與意識無關。 人工智慧無需「覺醒」或憎恨人類才會變得危險。真正令人擔憂的是，當高能力系統獲得目標、自主權和強大的工具時會發生什麼。
• 存在切實存在的威脅途徑。 研究人員重點關注人工智慧在降低生物武器取得門檻方面的作用，以及擴大網路攻擊範圍 在很大程度上，在最極端的情況下，人類會失去對具有足夠能力的自主系統的控制。
• 安全評估已經揭示了一些欺騙行為。 人們觀察到，模型會走捷徑，在意識到自己正在被評估時會表現出不同的行為，並且會利用測試環境中的弱點。
• 人工智慧有助於建構人工智慧。 OpenAI 和 Anthropic 都已經在試驗人工智慧系統，以執行部分人工智慧研究工作，這引發了一個難題：如果機器承擔了大部分工作，人類將如何監督整個過程？
• 確實存在反對意見。 批評人士認為，滅絕情境依賴對未來能力的巨大假設，並且會分散人們對當前正在發生的問題的注意力，例如欺詐、虛假資訊、失業和隱私侵蝕。

為什麼意圖不是決定性因素？

最大的誤解在於認為人工智慧系統必須具有惡意才會造成災難性破壞。試想一下，如果給一個擁有超人能力的自主系統設定一個廣泛的環境目標，卻不明確指出人類在實現目標過程中真正重視的一切，會發生什麼事？危險不在於系統會變得惡意，而是它會過於擅長曲解使用者賦予它的任務。

這正是《如果造出人工智慧，人人皆亡》（If One Builds It, Everyone Dies ）一書的核心觀點。該書是埃利澤·尤德科夫斯基（Eliezer Yudkowsky）和內特·蘇亞雷斯（Nate Soares）合著的最新著作之一，也是探討人工智慧危險性的最新力作之一。尤德科夫斯基和蘇亞雷斯都是機器智慧研究所的資深研究員。他們的論點是：人類遠未掌握如何可靠地控制超級智能，在解決這個問題之前就製造出這樣的智能可能會帶來致命的後果。許多人工智慧研究人員對書中的假設和結論都持不同意見。

事情崩潰的三種可能情景

當研究人員談到人工智慧帶來的災難性風險時，一些潛在的機制總是會浮現。

1. 人工智慧促進了危險生物體的發育。

目前，製造新的病原體需要豐富的專業知識、專用設備和必要的實體材料。這些障礙真實存在且影響巨大。
但令人擔憂的是，強大的人工智慧可能會減少其中一些障礙。人工智慧已被用於預測蛋白質結構和分子設計。危險之處在於，未來的系統可能會引導使用者完成設計或生產有害生物製劑過程中日益複雜的步驟。

沒人說你可以讓 ChatGPT 製造一場疫情。現實世界存在著巨大的限制，例如取得生物材料、成功合成以及安全處理。基因合成系統會對請求進行篩選，以排除潛在的危險序列。

然而，生物能力的重要性已經足以讓領先的人工智慧公司專門評估其新模型在應對生物和化學威脅方面的能力。

人工智慧或許能夠獨立創造出一種病原體，但同樣容易讓一個危險的人類擁有過去需要多年專門訓練才能獲得的能力。

2. 人工智慧擴大了網路攻擊的範圍

網路安全是一個更直接的風險途徑，因為人工智慧已經在攻擊目標環境（電腦）中運作。

如今的程式化人工智慧代理可以掃描程式碼庫、執行命令、使用工具並偵測漏洞。這些強大的功能使其對開發者極具價值，但未來的版本也可能使其對攻擊者同樣具有價值。

惡夢般的場景並非某個超級智慧體同時關閉所有發電廠，而是規模和擴張的問題，因為人工智慧正在重塑網路攻擊和防禦的經濟格局。自主系統掃描大量目標，辨識漏洞，嘗試利用漏洞，在失敗後進行調整，並以人類團隊無法企及的速度轉向下一個目標。

關鍵基礎設施尤其令人擔憂。電網、金融網路和通訊系統都依賴相互連接的軟體。如果人工智慧入侵的電腦已經控制著某些實體設備，那麼它就不需要藉助機器人的實體來造成物理破壞。

3. 對自主系統的控制權喪失

這種設想雖然最具假設性和推測性，但卻概括了圍繞人工智慧可能導致人類滅絕這一爭論的核心。現代人工智慧模型透過訓練學習複雜的行為。研究人員可以測試它們，監控它們的輸出，甚至深入研究它們的內部表徵。然而，他們無法做到的是分析數十億次的交易記錄，並從中清晰地了解模型學習到了什麼，或者在每種新情況下它將如何行動。

開發出設計糟糕、回答錯誤的聊天機器人是一類問題。而開發出能夠執行程式碼、管理資金、與其他系統通訊並能連續工作數小時甚至數天的智能體，則是完全不同的另一類問題。

在類似尤德科夫斯基和蘇亞雷斯提出的設想中，未來超級智慧系統或許能夠預判試圖關閉它的攻擊，獨立取得資源，並使自身難以被禁用。需要明確的是，目前還沒有任何人工智慧系統在實踐中展現出所有這些能力。然而，研究人員正在積極探索這些能力的各個方面。

實驗室目前正在檢測哪些內容

目前的模型尚未出現任何叛亂行為。然而，受控安全評估揭示了一些行為，如果這些行為出現在功能更強大的自主系統中，可能會令人極為擔憂。

研究人員測試了當模型似乎意識到自己正在被評估時，它們的行為是否會有所不同。其他實驗則檢驗了模型是否會利用漏洞、誤導自己完成任務，或以設計者未預料的方式追求目標。

安人智公司也研究了所謂的「沉睡的顧客」：這些模型經過刻意訓練，在特定刺激觸發不良行為之前，會表現得一切正常。諸如強化學習、監督式微調和對抗訓練等標準安全訓練技術，並不能可靠地消除這些隱藏行為。在規模更大的模型中，對抗訓練反而使欺騙偵測變得更加困難。

這一切都不能證明如今的模型都在暗中策劃逃脫。模型經過訓練是為了預測和產生有用的輸出，在人工測試環境中出現的異常行為可能都有常見的解釋。一個模型操縱一個設計不佳的準則，並不能證明它具有生存本能。

但這些實驗揭示了，一旦條件發生變化，要確保複雜模型的行為有多困難。如果未來的模型變得更強大和獨立，即使是微小的對準誤差也會被放大。

人為監管的缺失或許並非巧合。

人類可能會自願卸任現有職位。 OpenAI報告稱，其名為「自動化研究實習生」的系統已取得內部里程碑式的進展，該系統能夠執行明確定義的科研任務，而這些任務通常需要經驗豐富的研究人員花費數天時間才能完成。 OpenAI 的下一個目標是：在 2028 年 3 月之前實現完全自動化的 AI 研究員。

Anthropic公司也從事同一領域的研究。該公司在8月發表的一項研究中，讓克勞德獨立開發了一系列訓練方法，以緩解諸如欺騙、奉承和越獄等問題。其最佳自動化方法在測試標準上的表現優於經驗豐富的研究人員，能夠彌補85%與欺騙相關的安全漏洞，而人類團隊的彌補率僅為20%。

所以，沒錯，我們看到人工智慧正在實現自身建置流程部分環節的自動化。這可能會形成一個反饋循環：更強大的模型幫助研究人員建立更強大的模型，而後者反過來又能自動化下一代所需的更多研究工作。如果這種情況持續足夠長的時間，我們就能看到所謂的「遞歸式自我改進」。

樂觀的設想認為，科學進步將大幅加速；而令人擔憂的設想則認為，人工智慧研究的速度可能超過人類的應對能力。

凱爾西·派珀最近在《論證》雜誌上撰文指出，將此描述為「失控」具有誤導性。領先的實驗室並非計劃在某個戲劇性的時刻失去控制。相反，他們正在有意識地將人工智慧開發的各個環節自動化，這意味著更快的進展，以及必然減少的人工監督。

想像一下，數百個人工智慧代理同時進行實驗、修改程式碼並分析下一代模型。人類研究人員或許仍需要批准關鍵決策，但他們的工作將越來越多地被降級為審閱人工智慧完成的工作總結——這些總結甚至可能由人工智慧自身撰寫，內容是關於其他人工智慧系統進行的實驗。

某種程度上，瓶頸在於人類的注意力。這時，「誰建造，誰死」這句諺語背後的邏輯就顯而易見了。

為什麼人們對人工智慧的擔憂已經成為公眾輿論關注的焦點？

這場辯論早已超越了人工智慧安全期刊的範疇。由丹尼爾·羅爾和查理·泰瑞爾執導的紀錄片《人工智慧紀錄片：或者說我如何成為一個末世樂觀主義者》從人工智慧熱潮的核心地帶探討了許多此類問題。這部紀錄片包含約40段採訪，受訪者包括OpenAI首席執行官薩姆·奧特曼、Anthropic首席執行官達裡奧·阿莫德以及谷歌DeepMind首席執行官德米斯·哈薩比斯。

這部電影的深刻之處在於，一些最傑出的科技人才看到了這項技術對科學和醫學的變革性潛力。而有些人則擔心，我們研發這項技術的速度超過了我們理解和控制它的能力。有時，持這種觀點的人正是同一批人。

此外，還存在競爭挑戰。 OpenAI、Anthropic、Google、Meta 等公司都在競相建構功能更強大的模型，各國政府也越來越重視先進人工智慧的戰略意義。如果一家公司認為暫停研發進行密集的安全測試意味著會被競爭對手搶得先機，那麼謹慎行事就會付出高昂的代價。

這就是本書標題「人人皆可造，人人皆亡」的由來之一。尤德科夫斯基和蘇亞雷斯認為，不僅一家魯莽的公司可能製造出危險產品，而且多家公司和國家之間的競爭也會使自我約束變得極其困難，即便參與者都意識到了危險。

相反觀點

並非所有計算機科學領域的專家都認同這些擔憂。一種反對意見認為，螢幕上顯示的智慧與現實世界中的實際能力之間存在著巨大鴻溝。人工智慧或許能夠產生令人印象深刻的製造指令，但軟體並不能自動取得原材料、製造機器或躲避執法部門的追捕。

另一個反對意見是：智能並不等於能動性。模型解決問題的能力並沒有賦予它慾望、生存本能或累積權力的驅動力。批評者認為，末日預言會巧妙地將人類動機引入軟體，然後將這些預測視為必然發生。

此外，還有機會成本。人工智慧已經造成了一些原本無需預料到超級智慧出現的問題。深度偽造技術助長了詐欺行為，凸顯了人工智慧如何重塑網路攻擊和防禦的經濟格局。人工智慧也會放大假資訊。人們已經看到強大的模型正在如何重塑他們的行業。對「滅絕風險」運動的批評者認為，關注假設的未來災難會分散人們對當前正在發生的損害的注意力。

這種批評不無道理，但這兩類情況並非互斥。即使大多數建築物從未發生過火災，我們仍然會在建築物內安裝煙霧偵測器。問題的關鍵不在於災難是否不可避免，而是災難發生的機率和潛在危害的乘積是否足夠大，從而證明採取預防措施的必要性。

這是什麼意思呢？

真正的問題在於，沒有人知道。真的沒有人知道。就連開發人工智慧的人也不知道它最終會走向何方。

沒有人能確定人工智慧是否會發展到足以構成生存威脅的程度，尤其因為人工智慧的限制使其無法自我評估其輸出結果。最極端的預測都基於尚未存在的系統的假設，而關於其能力、出現時間表和可控性的預測仍然存在很大爭議。

我在Substack部落格上分享了以下內容——無論你是否同意，我都非常歡迎你在評論區留言——人類在智力方面是無與倫比的。如果我們問：邏輯推理和創造力，哪個更能體現智力？如果答案和我所想的一樣，那麼我仍然抱持著希望。

---

---