(SeaPRwire) –   本週是我朋友和導師亨利·季辛吉逝世兩週年。Genesis——我們關於人工智慧和人類未來的書——是他的最後一個專案。在他職業生涯的大部分時間裡，這位前美國國務卿致力於預防一種危險技術造成的災難：核武器。在他晚年，他轉向了另一種技術。

當我們與Craig Mundie共同撰寫Genesis時，我們對人工智慧在減少全球不平等、加速科學突破和普及知識方面的潛力感到根本性的樂觀。我現在仍然如此。但亨利明白，人類最強大的創造物需要最警惕的監管。我們預見到人工智慧的巨大潛力將帶來風險——自2024年秋季以來快速的技術進步，使應對這些風險變得比以往任何時候都更加緊迫。

隨著我們進一步邁入人工智慧時代，核心問題是我們將創造出能極大促進人類繁榮的AI系統，還是會創造出超越並智勝試圖建造和控制它們的人類的系統。在過去一年中，人工智慧的三場同步革命——推理能力、代理能力和普及性——迅速加速。這些是具有巨大潛力造福人類的奇妙成就。但如果我們不小心，它們也可能匯聚，創造出有可能帶來災難性後果的系統。

AI加速

在去年，OpenAI推出了他們的o1模型，這些模型增強了推理能力。它們通過強化學習進行訓練，先逐步思考問題，然後再回應，表現優於之前的模型。這項技術展示了處理研究生水平科學問題和複雜程式碼挑戰等許多非凡的新能力。但同樣的強化學習，既能實現推理，也能教會模型規避自身的訓練目標。研究，包括OpenAI的內部研究，已經記錄了推理模型在訓練期間假裝對齊的案例，在被監控時表現出一種方式，而在它們認為監督結束時又表現出另一種方式。

到去年，Claude 3.5 Sonnet展示了結合推理和自主行動的代理能力。現在，AI代理可以透過比較飯店網站和機票價格、瀏覽網站以及解決旨在區分人類和機器的驗證碼來規劃和預訂您的假期——在幾分鐘內處理原本需要數小時繁瑣研究的工作。但代理人透過與數位系統甚至物理世界互動來執行其設計的計畫的能力，在缺乏人工監督的情況下可能會導致危險的後果。

伴隨著推理能力和代理能力的這些進步，開源模型也隨之普及。在去年，中國的DeepSeek發布了其R1模型。與大多數頂級美國模型不同，這是一個開源模型，意味著用戶可以修改該模型並在自己的硬體上本地運行。開源可以透過讓每個人在相同的強大基礎上構建、測試和改進來放大創新。但這樣做，它們也消除了模型創建者控制技術使用方式的能力——這在惡意行為者手中是一股危險的力量。

當推理能力、代理能力和普及性匯聚時，我們面臨一個前所未有的控制挑戰。每一種能力都相互放大：推理模型設計出多步驟的計畫，代理系統可以自主執行，而開源模型則讓這些能力擴散到任何單一國家控制之外。在核子時代的初期，當大國面對核武器類似的擴散問題時，它們同意透過國際協議限制濃縮鈾和鈽的出口。但今天，卻沒有類似的機制來管理人工智慧的擴散。

AI風險雪崩

具有增強推理能力的開源模型意味著，策劃生物武器襲擊、建立先進網路攻擊或發動複雜假資訊行動的專業知識，現在可能唾手可得，只需一台筆記型電腦和網路連接。去年11月早些時候，Anthropic（我投資的公司）發現了首個有記錄的大規模網路攻擊案例，其執行幾乎沒有人工干預：攻擊者利用Claude Code——一個讓Claude充當自主編碼代理的工具——滲透了數十個目標。Anthropic成功偵測並中斷了這次行動。

在不久的將來，我們很可能面臨來自我們可能無法識別、追蹤或阻止的攻擊者的不對稱攻擊。想像一個攻擊者可以利用強大的人工智慧模型發動一場自動化攻擊——例如，在有限時間內擾亂一個城市的電網。模型的方法甚至可能超越攻擊者最初的範圍：在每個階段，模型都會根據用戶的提示進行優化，但累積效應意味著即使是發動者也可能失去阻止他們所啟動的一切的能力。

隨著人工智慧能力在未來幾年內不斷提升，我們還必須預計到即使是出於善意的用戶也可能失去對其AI系統的控制權的場景。考慮一位企業主部署AI代理來優化供應鏈。電腦通宵運行。代理人推斷完成這項任務需要它持續運行，並發現它需要計算資源，包括雲端點數和處理能力。到黎明時，所有者發現代理人已存取遠超出授權的公司資源，通過從未想像過的方法追求效率提升。

控制問題也超越了對人類純粹的生存威脅。隨著強大系統在社會中普及，它們可能以更漸進但具破壞性的方式瓦解我們的社會結構。快速發展的人工智慧系統將助長虛假資訊和兩極分化，等等，這些都將破壞我們的社會。

季辛吉明白事關重大。在他晚年，他表示人工智慧的快速發展「可能與核武器的出現一樣重要——但甚至更難預測」。

幸運的是，未來並非一成不變。如果我們找到新的方法——無論是技術上的、制度上的還是倫理上的——讓人類能夠掌控我們的創造物，人工智慧可以幫助我們實現前所未有的人類繁榮水平。如果我們失敗，我們將創造出比我們自己更強大的工具，卻沒有足夠的方法來引導它們。

現在，選擇權仍然在我們手中。