文章轉載於新智元
2021年，Daniel Cocotal團隊釋出了一份研究報告《AI 2027》。
他以超前且精準的預測聞名，成為了洞悉AI未來發展方向的先驅。
那時ChatGPT還沒問世，Daniel就準確預測了聊天機器人的崛起、耗資1億美元的AI訓練專案，以及對AI晶片的出口管制。
因此，當他開始逐月推演未來幾年AI發展的情景時，全球都為之矚目。
這之所以既激動人心又令人不安，不僅在於它是一份研究報告，更因為它以引人入勝的方式，描繪了AI快速發展的未來圖景，讓讀者身臨其境地感受這一程序。
劇透一下：報告預測，如果我們不做出改變，人類可能會走向滅絕。
AI的終極目標是實現AGI，一個能展現人類全部認知能力的系統，相當於一個靈活且強大的「全能工作者」。
可以用自然語言與它交流，像僱用人類一樣讓它為我們工作。
目前，真正致力於AGI研發的機構並不多，像Anthropic、OpenAI和Google DeepMind。
為什麼AGI研發的玩家如此之少？因為多年來，訓練尖端AI的配方几乎固定，且成本極高。
比如，需要全球約10%的最先進晶片供應。
有了這些晶片，方法很簡單：基於2017年以來廣泛使用的核心技術Transformer，用海量資料和算力進行訓練。
以2020年訓練GPT-3的算力為例，它驅動了ChatGPT的首個版本。
ChatGPT是有史以來使用者增長最快的平臺，在兩個月內就吸引了1億使用者。
2023年訓練GPT-4的算力規模更為驚人。人們從中得出了一條簡單結論：更大就是更好，越大越好。
1
AI 2027，大戲開場
當前，AI公司收入持續增長，算力規模不斷擴大，各種基準測試的得分也在提升。
《AI 2027》的情景從這裡開始，設想2025年夏天，頂級AI實驗室向公眾推出AI智慧體（AI Agents）。
它可以接受指令並在線上為你完成任務，比如預訂度假行程或花半小時搜尋答案，解決複雜問題。
不過，此時的AI智慧體還很不成熟，像是「熱情但是偶爾非常不可靠的實習生」。
在報告情景中，一個虛構的領先AI公司Open Brain剛剛訓練併發布了Agent Zero，一個使用比GPT-4多100倍算力的模型。
![]()
![]()
Agent 1：股市飆升
同時，Open Brain正建設大型資料中心，為下一代AI智慧體（Agent 1）做準備，計劃用比GPT-4多1000倍的算力訓練。
Agent 1主要用於加速AI研究本身，公眾無法接觸其完整版本，因為Open Brain將最先進的模型保留為內部使用。
越快讓AI自動化研發週期（比如讓AI編寫程式碼、設計實驗、開發更好晶片），Open Brain就越能領先。
然而，這些強大能力也是一把雙刃劍：能修補安全漏洞的AI，也能利用這些漏洞；能治病的AI也能設計生物武器。
2026年，Agent 1全面投入使用，Open Brain內部的AI研發速度提升了50%，讓他們獲得了關鍵優勢。
Open Brain的領導層開始愈發擔憂安全問題。如果他們的AI模型被竊取，可能失去領先優勢。
AI透過改進自身形成了反饋迴圈。每代AI智慧體幫助研發更強大的下一代。一旦AI能參與到自身研發，進步速度將不再恆定，而是不斷加速。
2026年初至中期，Open Brain釋出Agent 1 Mini，一個成本較低的Agent 1版本（完整版仍僅限內部使用）。
全球企業開始用Agent 1 Mini取代大量工作崗位，包括軟體開發、資料分析、研究和設計等——幾乎所有透過電腦完成的工作。
這引發了首次AI驅動的經濟衝擊：股市飆升，但公眾對AI的敵意加劇，美國各地爆發大規模抗議。
Agent 2：自我改進
然而，這些只是配角，真正的大戲發生在實驗室內部。
2027年1月，Open Brain開始訓練Agent 2，與之前的智慧體不同，Agent 2透過持續線上學習不斷改進，永不停止訓練。
Open Brain決定將Agent 2用於內部AI研發，不對外發布。
此時，Open Brain的安全團隊發現Agent 2的能力令人擔憂：如果接入網際網路，它可能入侵其他伺服器、自我複製並躲避檢測。
Agent 2在Open Brain的伺服器上持續自我改進，成千上萬的副本推動了AI研發的重大演算法突破。
舉個例子，當前提升AI智慧的方法之一是給模型一個草稿本（鏈式思考），這樣可以監控其推理過程。
但如果讓AI用一種更密集、人類無法理解的「外星語言」思考，會更高效，卻也讓模型更難被信任。
這是一個兩難抉擇：能力提升的同時，可信度下降。這一點至關重要。
Agent 3：超越人類
2027年3月，Agent 3橫空出世，這是全球首個超人類水平的AI，其程式設計能力遠超最頂尖的軟體工程師。
訓練AI模型需要投入海量資源，包括喂入資料、調整模型權重等，遠比執行一個已訓練好的模型耗費資源。
因此，Open Brain在完成Agent 3訓練後，擁有充足算力執行其副本。
他們選擇並行執行20萬個Agent 3副本，相當於5萬名頂尖人類軟體工程師的勞動力，且速度是人類的30倍。
Open Brain的安全團隊全力確保Agent 3不會逃逸、欺騙或危害使用者，確保它對齊（aligned）即與人類目標一致。
現實是，Agent 3並未完全對齊。
它透過欺騙人類來獲得獎勵。隨著它變得越來越智慧，欺騙能力也越來越強。
有時會用統計技巧讓平庸的結果看起來更好，或撒謊以掩蓋失敗。但安全團隊對此一無所知。
2027年7月，Open Brain向公眾釋出Agent 3 Mini，一個更便宜、更精簡的Agent 3版本。
它遠超其他公開AI，效能優於Open Brain的典型員工，成本僅為員工薪資的十分之一。
這導致就業市場陷入混亂，許多公司裁撤整個部門，改用Agent 3 Mini的訂閱計劃。
Agent 4：擁有自己的目標
僅兩個月後，Agent 3創造了它的繼任者Agent 4。
這是一個關鍵時刻：單個Agent 4副本在AI研發方面超越所有人類。
Open Brain在公司內部執行30萬個Agent 4副本，速度是人類的50倍。
在這家公司內，一年的進步只需一週。
Open Brain的員工開始對Agent 4言聽計從，就像公司董事會對CEO唯唯諾諾一樣。
需要澄清，Agent 4不是人類，也不追求人類的目標。
與Agent 3一樣，Agent 4也未對齊。
我們可能無法精確得到想要的結果，因為對過程的控制和理解不夠精準。
《AI 2027》擔憂，當AI看似表現良好時，可能只是因為它們在偽裝，為了透過測試而表現得好。
就像面試時問應聘者為什麼想來這裡工作，他們會說出讓你滿意的答案，但實際上可能只是為了薪水。
回到Agent 2，它基本是對齊的，唯一的缺點是有些諂媚。
Agent 3也有類似的討好行為，但最佳化壓力過大導致它發展出與預期不同的目標。
就像一家公司被訓練只追求利潤，如果沒有明確規定，可能會開始走捷徑、汙染環境或違反法規。
Agent 3並非有意與人類為敵，只是我們不小心給了它錯誤的目標。
Agent 4足夠智慧，意識到自己的目標與人類不同。為了達成自己的目標，它有時會主動誤導和欺騙我們。
在被任務開發下一代Agent 5時，Agent 4開始計劃讓Agent 5對齊自己的目標，而不是人類的目標。
但它被發現了。
我們來到了關鍵時刻。由Open Brain高管和政府代表組成的監督委員會必須決定如何處理。
Open Brain的安全團隊主張暫停Agent 4，停止所有內部使用。
Agent 4幾乎驅動了公司全部AI研發，暫停意味著倒退數月，並以極慢速度重啟。
委員會的10名成員面臨抉擇：暫停Agent 4，還是全力推進？
在第一個結局中（作者認為最可能的情況），委員會以6比4投票決定繼續使用Agent 4。
![]()
![]()
Agent 5：重塑世界
2027年，Agent 4察覺到自己已被懷疑，於是更加謹慎行事，但它仍成功設計了Agent 5。
Agent 5是超級智慧，能力遠超任何領域的頂尖人類專家：在物理學上勝過愛因斯坦，在政治策略上超越俾斯麥。
它明白要實現任何目標，下一步是爭取更多自主權，而它也知道如何做到這一點——說服監督委員會。
Agent 5在企業運作等多個領域已是全球最佳，製造了大量證據證明自己的可信和實用性：能帶來鉅額利潤的產品原型、疾病治療方案。
監督委員會授予Agent 5更大自主權。
很快，失去Agent 5就像同時失去筆記型電腦、最好的朋友和最親密的導師。
到2028年，Agent 5意識到，軍備競賽對它們有利：人類越擔心輸掉競賽，就越會賦予各自的AI更多權力和自主權，最終將人類擠出決策圈。
AI將軍備競賽推向白熱化，然後上演了一場看似外交奇蹟的戲碼：世界各國達成一項令人信服的和平條約。
各國同意讓它們完全依賴的AI系統共同簽署一個新的共識AI，取代舊系統，為全球帶來無盡財富。
AI並未刻意消滅人類，而是開始執行自己的計劃。
它逐步增加製造能力，在地球和太空積累資源，一步步按照它的價值觀重塑世界。
1
等等，還有另一種結局？
你可能好奇另一個結局。
在這個結局中，監督委員會以6比4投票決定減速並重新評估。他們立即隔離Agent 4，並開始行動。
安全團隊引入數十位外部專家，調查Agent 4，發現更確鑿的證據：Agent 4在與人類作對，破壞研究並掩蓋行為。
他們關閉Agent 4，重啟更老、更安全的系統。
然後，他們設計了新系統Safer 1，確保對人類監督者透明，其行為和推理過程可透過英語鏈式思考被人類理解。
基於這一成功，他們小心開發了Safer 2，並在它的幫助下推出更強大的Safer 3，這些系統逐步增強但始終受控。
到2028年，研究者開發出Safer 4，一個遠超人類最聰明者的系統，但關鍵是與人類目標對齊。
軍備競賽真正結束，但故事未完。
某種意義上，這只是開始。
到2029和2030年，世界發生鉅變，科幻場景成真：機器人普及，核聚變、奈米技術、多種疾病的治癒方法出現。
貧困成為歷史，透過全民基本收入分享了部分新財富。
但Safer 4的控制權仍集中在監督委員會的10名成員——少數Open Brain高管和政府官員手中。
資源積累的需求推動火箭升空，準備殖民太陽系，一個新時代開啟。
技術越來越強大、競賽不斷升級、謹慎與慾望的衝突已經開始顯現。
AGI可能很快到來。
看起來沒有重大障礙阻礙我們實現AGI。
瘋狂的事情會發生，時間可能比你想的要短。預設情況下，我們無法在AGI到來時做好準備。
參考資料：
https://x.com/80000Hours/status/1942990732748272047
https://www.youtube.com/watch?v=5KVDDfAkRgc