最近，谷歌傳奇工程師 Jeff Dean 在一次訪談中大膽預測：在一年之內，我們將擁有能夠 24/7 全天候執行、具備“初級工程師”能力的 AI 系統。
Jeff Dean 是現代計算領域的傳奇人物，曾主導谷歌在大規模分散式系統和人工智慧方面的諸多突破。他不僅是 Google Brain 專案的聯合創始人，還先後推動了 MapReduce、Bigtable、Spanner 和 TensorFlow 等關鍵系統的誕生，自 2018 年起擔任 Google AI 負責人，2023 年在 DeepMind 與 Google Brain 合併後出任谷歌首席科學家。從參與 BERT 論文、主導 TPU 研發，到推動谷歌基礎 AI 架構的演進，Dean 幾乎見證並親歷了谷歌每一個關鍵的 AI 發展節點。
作為技術界最具影響力的人物之一，Jeff Dean 的這番言論一經發布，迅速在業內引發熱議。雖然此前包括 Sam Altman 在內的不少業內人士也曾表達過類似觀點，但 Jeff Dean 的話語分量顯然不同。正如有網友所說：相比那個總在“兜售”某種概念的 Sam Altman，Jeff Dean 更像是一位腳踏實地的計算機科學家——他說出的每一句話都更顯嚴謹與深度，值得我們認真傾聽和思考。
儘管這場變革對程式設計師就業市場的實際衝擊尚未顯現，但種種跡象表明，未來幾年內，軟體開發這項職業可能將經歷一次深刻重塑。AI 工程師不只是“能寫程式碼”，更具備了人類工程師難以比擬的持續性與規模化潛力，而這，也許只是開始。
為了幫助大家更好理解 Jeff Dean 的判斷和觀點，我們也翻譯了他這次的訪談內容，以下是原文（僅調整了部分問題順序，以方便閱讀）：
Bill Coughran：作為 Alphabet 的首席科學家，咱們跟 Jeff 的對話可以從這個話題開始：在座很多朋友顯然都對 AI 抱有興趣，一直在關注其發展。谷歌貢獻了大量行業賴以存在的底層基礎，特別是 Transformer 架構。那你如何看待當前谷歌內部乃至整個 AI 行業的發展方向？
Jeff Dean： 我覺得 AI 領域已經醞釀了很久，只是過去這三、四年才真正進入公眾視野。實際從 2012 年、2013 年那會開始，人們已經在使用這些當時看來規模龐大的神經網路來解決各種有趣的問題。同樣的演算法同樣適用於視覺、語音和語言類任務。這是個非常了不起的成就，也讓機器學習逐漸替代傳統手工設計方法，成為解決此類問題的主要方式。
而且早在 2012 年，我們就已經在關注一個問題：如何擴充套件並訓練出極其龐大的神經網路？我們訓練了一個比當時其他模型大 60 倍的神經網路，用了 1.6 萬個 CPU 核心，因為當時谷歌的資料中心只有這種硬體。我們得到了非常好的結果。這讓我們確信，擴充套件這種方法確實有效。之後越來越多的證據出現，同時硬體的改進也幫助我們提升了擴充套件能力，得以訓練出更大的模型並處理更大的資料集。
我們曾有一句口號：“模型越大、資料越多、結果越好”。在過去這 12 到 15 年裡，這句話基本成立。至於未來的發展方向，我認為現在的模型已經能完成一些非常有趣的任務。當然它們不能解決所有問題，但每年都能解決越來越多的問題，因為模型本身也在不斷進步。我們有了更好的演算法改進方法，讓我們可以在相同的計算成本下訓練出更大的模型，獲得更強大的能力。此外，我們在硬體上也有突破，單位硬體上的計算能力不斷提升。我們還有強化學習和後訓練技術，讓模型變得更好，並引導它們按照我們期望的方式進行發揮。這一切都非常令人興奮。我認為多模態也是一個重要的趨勢，比如輸入格式可以是音訊、影片、影像、文字或程式碼，輸出也可以涵蓋這些形式。總之 AI 變得越來越有用了。
Bill Coughran：目前整個行業都對“智慧體”非常著迷。你覺得這些智慧體真有用嗎？谷歌前段時間剛釋出了一款智慧體框架。不是針對谷歌哈，但我總感覺現在對智慧體的炒作有點紙上談兵。不好意思，我這人說話可能有點直……
Jeff Dean： 沒關係。我認為智慧體這個領域確實有巨大的潛力，因為我們看到透過合適的訓練過程，智慧體最終可以在虛擬計算機環境中完成許多今天需要人類才能解決的任務。當然，目前它們只能完成部分任務，還有很多無法勝任。
但提升其能力的路徑是相對清晰的：你可以進行更多強化學習，讓智慧體從經驗中學習。其實很多早期產品都無法完成大部分任務，但仍然對使用者非常有用。我認為類似的進展也會發生在物理機器人智慧體領域。
如今，我們可能正接近這樣的轉折點：對於我們這個會議室這樣雜亂的環境，機器人還無法很好地適應，但我們能看到一條明確的路徑，即在未來幾年內，它們應該能在這樣的房間裡完成幾十種實際工作。剛開始能完成這些任務的機器人產品肯定價格不菲。但隨後透過經驗學習，它們的成本會被最佳化，變成原來價格的十分之一，同時還能完成上千種任務。這將進一步推動成本最佳化和技術能力的提升。所以智慧體的發展總體來講非常激動人心。
Bill Coughran：這話沒毛病，只不過現在還不能苛求太多。還有一個問題經常被提及，那就是大模型的發展現狀。顯然，谷歌掌握著 Gemini 2.5 Pro 還有 Deep Research 專案，OpenAI 以及其他公司也參與其中。關於開源和閉源的大語言模型數量和發展方向，業界中的討論之聲從未停止。你是怎麼看的？谷歌在這一領域當然擁有強大的地位，也希望繼續佔據主導，但你如何看待整體格局的變化？
Jeff Dean： 我認為，構建最先進的模型需要大量投資。因此，市面上的這類模型不可能幾十上百，最終留下的可能只有少數幾個。一旦你擁有了這些強大模型，就可以利用諸如知識蒸餾之類的技術生成更輕量級的模型，用以適配更多場景。
我曾經是這項技術的合著者，但 2014 年 NeurIPS 拒絕了我們的論文，認為它不太可能產生影響。
我聽說 DeepSeek 可能就受益於這項技術。總之這是一種非常實用的技術：當有了一個更強的模型時，你可以將其壓縮成一個更小巧的模型，使其輕便、快速，且具備你想要的各種特性。因此，我認為這個領域會有許多不同的參與者，因為不同大小和用途的模型都有生存的空間。但我也相信，少數幾個通用且功能強大的模型同樣會表現出色。
Bill Coughran：還有個小問題。你會用“氛圍程式設計”嗎？
Jeff Dean： 我還真稍微嘗試過，而且效果出奇地好。
我們在工作中有不少演示聊天室，甚至整個 Gemini 專案的溝通幾乎就是在聊天室裡面完成的。我加入了大約 200 個聊天室，每天早上起床刷牙時，都會收到大概 9 條通知，因為我的倫敦同事們已經開始忙活了。
我們有一段特別酷的演示：你可以上傳一段教育類 YouTube 影片，然後提示詞是“請根據這段影片製作一個包含圖形和互動元素的教育遊戲”。雖然並不總能成功，但有大約 30% 的機率，它確實能生成一些有趣的內容，比如關於微分方程、前往火星探險，或者細胞相關主題的遊戲。這對於教育來說是一個巨大的訊號。
我們現在擁有的工具，以及未來幾年將擁有的工具，確實有機會以積極的方式改變世界。我們應該記住，這才是我們努力的方向。
觀眾：我很好奇你對未來搜尋的看法，特別是考慮到 Chrome 的普及度如此之高。Chrome 已經掌握了支付憑證和網頁簽名憑證等資訊。你有沒有考慮過將 Gemini 直接整合到 Chrome 當中，讓 Chrome 應用轉化為 Gemini 應用，而不再作為單獨的應用程式？我說這話，是因為我是咱們谷歌的正式員工，所以請你認真考慮再作答。
Jeff Dean： 是的，我認為核心的 Gemini 模型或其他模型可以衍生出許多有趣的下游應用。其中之一，就是讓它透過觀察你在瀏覽器或桌面電腦上的操作，幫助你完成任務，比如對標籤頁進行 OCR 或訪問原始標籤內容。
這似乎會非常有用。我們在這個領域已經有一些初步成果，併發布了影片形式的公共演示，比如 AI 助手 Mariner 等專案。具體結果尚待觀察。
觀眾：你之前提到過，基礎模型的參與者可能只會剩下少數幾家，這主要是由於基礎設施成本和維持前沿技術所需的投資規模過大。隨著這場前沿競爭的展開，你認為事態最終會走向哪裡？單純是誰砸最多的錢、造出最大的叢集就能勝出嗎？還是說要更好地利用統一記憶體最佳化和現有資源，才是取勝之道？或者說最終取決於使用者體驗？這場軍備競賽會走向何方？是不是誰先達到天網的水平，誰就贏了？
Jeff Dean： 我認為決定勝者的，既是出色的演算法工作，也離不開優秀的系統硬體和基礎設施成果。不能簡單認為其中一個比另一個更重要，因為在我們 Gemini 模型的代際演進過程中，我們看到演算法改進的重要性與硬體改進或投入更多計算資源的重要性相當，甚至可能更高。
但從產品角度來看，這個領域目前仍處於早期階段。我認為我們尚未找到那個能讓數十億人每天使用的殺手級產品。它可能是教育領域的某個應用，也可能是類似搜尋引擎的資訊檢索工具，但會充分利用大型多模態模型的優勢。我認為幫助人們在各自的工作環境中完成任務才是最重要的。那麼，這些想法將如何轉化為具體的產品形態？比如，我該如何管理一支由 50 個虛擬智慧體組成的團隊？它們大多數時候都會正確執行任務，但偶爾也需要諮詢我的意見。我需要給予它們一定的指導。這相當於思考，我該如何管理 50 個虛擬實習生？這將是一個複雜的問題。
觀眾：我覺得您可能是世界上最適合回答這個問題的人選了：您認為我們離擁有一個能 24/7 全天候工作，而且水平相當於初級工程師的 AI 還有多遠？
Jeff Dean： 我覺得比大家想象中要近。
Bill Coughran：具體點呢？六週，還是說六年？
Jeff Dean： 我估計那在接下來一年左右的時間裡可能是可行的。（I will claim that's probably possible in the next yearish）。
觀眾：還是剛才“一年內擁有初級工程師水平 AI”的話題。我想知道，要想實現這個目標，我們需要完成哪些突破？顯然，程式碼生成能力會進一步提升，但除此之外你認為還需要什麼？是工具使用能力？還是智慧體規劃能力？
Jeff Dean： 我認為這樣一位虛擬工程師需要具備的能力遠不止在 IDE 中編寫程式碼。它還需要知道如何執行測試、除錯效能問題等等。我們知道人類工程師是如何做到這些的，他們得學會使用各種工具來完成任務，並從更有經驗的工程師那裡獲取智慧，或者閱讀大量文件。我認為虛擬初級工程師最擅長的應該是閱讀文件和在虛擬環境中不斷試錯。這似乎是提高其能力的一種方式。至於到底能做到什麼程度，我不知道，但我相信這會是一條很有前景的道路。
Bill Coughran：說的有道理。另一個引人注目的趨勢是硬體的發展。在我看來，各家大廠都在自研硬體。谷歌很早就公開了自己的 TPU 計劃，亞馬遜也有自己的方案。傳言 Meta 和 OpenAI 都在開發自己的晶片。可如今行業中似乎仍只聽得到英偉達的聲音，不過在你們谷歌的辦公室裡肯定不是這種情況。你怎麼看這個問題？專用硬體對於這些任務到底有多重要？
Jeff Dean： 顯然，專注於機器學習這類計算的硬體非常重要。我喜歡稱之為“降低精度線性代數加速器”。每一代硬體都要變得更強大，並且透過超高速網路大規模連線在一起，以便將模型的計算需求分佈在儘可能多的計算裝置上。這一點至關重要。我記得我在 2013 年協助啟動了 TPU 專案，因為那時我們明顯需要大量的推理計算資源——那是第一代。第二代 TPU（TPUv2）則兼顧了推理和訓練，因為我們看到了這方面的需求。我們現在使用的版本已經不再編號了，因為太麻煩。目前我們正在推出 Ironwood，打算給上代版本 Trillium 接棒。
Bill Coughran：這名字起得像英特爾那邊的晶片，他們好像搞得都不太好……抱歉可能有點跑題，接下來咱們聊點別的。我有很多物理學家朋友，他們對 Geoffrey Hinton 和他的同事獲得物理學諾貝爾獎感到有些驚訝。這事你怎麼看？我認識的一些物理學家甚至覺得非物理學家贏得諾貝爾獎讓他們有些不滿。你認為 AI 最終會在各個領域走多遠？
Jeff Dean： 我認為會非常遠。今年我的同事 Demis 和 John Jumper 也獲得了諾貝爾獎。我認為這表明 AI 正在影響諸多科學領域。因為從根本上講，能否從有趣的資料中學習是很多科學領域的重要議題，即發現事物之間的聯絡並理解它們。如果 AI 能夠輔助實現這一點，那就太好了。畢竟在許多科學領域，我們常常會遇到極其昂貴的計算模擬場景，例如天氣預報、流體動力學或量子化學模擬。
現在的做法是使用這些模擬場景作為訓練資料，訓練出一個神經網路來近似模擬器的功能，但速度可以提升 30 萬倍。這徹底改變了我們搞科學研究的方式。突然之間，我可以用一頓飯的工夫就篩選出上千萬個分子；相比之下，以前我必須用恐怖的計算資源整整執行一年才能完成。這從根本上改變了我們的科研流程，並將加快科學發現的速度。
Bill Coughran：我想先快速跟進一下 Geoffrey Hinton 的情況。他因研究數字和模擬計算在推理和學習中的差異而離開谷歌。我想知道，未來的推理硬體是否會走向模擬方向？
Jeff Dean： 當然有可能。模擬計算在功耗效率方面具有優勢。我也認為數字計算在推理方面仍有很大的專業化空間。一般來說，數字系統更容易操作。但我認為總體方向是：如何讓推理硬體的效率比今天的水平再高一萬、兩萬甚至五萬倍？只要我們下定決心去做，這是完全可能的。實際上，我自己也在花時間研究這件事。
觀眾：您好，我想請教一下開發者體驗與硬體的關係。我認為 TPU 硬體非常出色，但在社群中有一種觀點認為 CUDA 或其他技術比 TPU 更容易使用。請問您對此怎麼看？這是您一直在思考的問題嗎？有沒有收到過很多憤怒的抱怨郵件？
Jeff Dean： 想過，雖然我很少直接接觸雲 TPU 客戶，但毫無疑問，體驗還有很大的改進空間。
我們在 2018 年開始研發一套名叫 Pathways 的系統，它的設計目標是讓我們能夠使用各種不同的計算裝置，並提供一種良好的抽象層。在這個系統中，虛擬裝置到物理裝置的對映由底層執行時系統管理。我們支援 PyTorch 和 Jax。
我們在內部主要使用 Jax，但我們編寫了一個單一的 Jax Python 程序，讓它看起來就像對應上萬個裝置一樣。你可以像 ML 研究人員那樣寫程式碼，然後執行起來。你可以用四、八、十六或六十四個裝置進行原型開發，然後只需修改一個常量，就可以切換到支援上千或上萬個晶片的 Pathways 後端繼續執行。
我們的最大 Gemini 模型就是由單個 Python 程序驅動的，使用了數萬個晶片，效果非常好。這樣的開發者體驗就很理想。
我想說的是，我們之前沒有向雲客戶開放這一功能，但我們在 Cloud Next 上剛剛宣佈，Pathways 將向雲客戶開放。這樣一來，所有人都可以享受單一 Python 程序控制數千裝置的美妙體驗。我同意，這比直接管理 64 塊處理器上的 256 個晶片要好得多。
觀眾：我特別喜歡使用 Gemini API。如果能直接用單一 API 金鑰來代替 Google Cloud 憑證設定，那就更好了。你們有沒有打算將 Google Cloud 和 Gemini 堆疊跟 Gemini 專案統一起來？目前後者更像是測試版本。
Jeff Dean： 我認為在這方面有一些簡化措施正在考慮中。這是一個已知的問題，我個人並不花太多時間在這上面，但我知道 Logan 和其他開發者團隊的成員意識到了這個摩擦點。我們希望讓使用者使用我們的工具變得毫無障礙。
正在考慮，相關的簡化措施也在推進當中。我們都清楚這個問題，雖然我本人不太會花時間在這件事上面，但我知道谷歌其他開發者團隊的成員已經意識到這個痛點，也希望使用者能以更無障礙的方式使用我們的工具。
觀眾：目前是計算領域一個有趣的時期。摩爾定律和 Dennard 提出的縮放效應都不靈了，而 AI 的擴充套件卻仍在瘋狂增長。您則處於一個獨特的位置，推動著這些超級計算機和基礎設施的發展。更重要的是，您擁有一項獨特技能，就是了解如何將工作負載對映到這些系統上。那您認為計算的未來會是什麼樣子？從理論層面來看，計算基礎設施將朝哪個方向發展？
Jeff Dean： 我認為很明顯的一點在於，過去五到十年間，我們希望在計算機上執行的計算型別發生了巨大變化。起初這只是一朵小漣漪，但現在已經形成滔天巨浪。我們希望執行效能極高、功耗極低的超大規模神經網路，還希望以同樣的方式完成訓練。
訓練和推理是兩種截然不同的工作負載。因此，我認為將兩者區分開來很有意義，你可能需要針對這兩種任務採用不同的解決方案，或者至少是略有差異的方案。我認為所有的計算平臺都將適應這一新現實，即其主要作用就是執行極其強大的模型。其中一些應用將在低功耗環境中完成，例如大家的手機。
我們都希望自己的手機能以極快的速度執行引數龐大的模型，這樣在和手機對話時，它可以迅速回應並幫我們完成各種任務。我們也將在機器人和自動駕駛汽車中執行這些模型。目前我們已經在某種程度上實現了這一點，但更好的硬體將使這些系統的構建變得更加容易，也將使真實世界中的具身智慧體變得更加強大。同時，我們也希望在資料中心以超大規模執行這些模型。此外，對於某些問題，我們需要使用大量推理計算資源，而對於另一些問題則不需要。
總之我們需要找到一個平衡點：對於某些問題，你應該投入萬倍於常規問題的計算資源，這樣才能讓你的模型更強大，給出更準確的答案，或者讓它能完成僅憑少量計算無法完成的任務。但與此同時，我們不應該對所有問題都投入如此多的資源。因此，如何讓系統在資源受限的情況下良好執行？我認為這應該是硬體、系統軟體、模型和演算法技巧（如知識蒸餾）共同作用的結果，所有這些都可以幫助你在有限的計算資源下實現強大的模型。
Bill Coughran：我注意到的一件事是，傳統計算機科學在研究演算法和計算複雜度時，是以操作計數為基礎的。隨著人們對硬體和系統設計細節的重新重視，我發現一種新的趨勢：我們必須重新考慮網路頻寬、記憶體頻寬等因素。因此，我認為傳統的演算法分析需要完全重寫，因為現實中的計算模式已經完全不同了。
Jeff Dean： 我在研究生時期的室友做過關於快取感知演算法的論文，因為大 O 表示法沒有考慮到某些操作可能比其他操作慢 100 倍的事實。沒錯。在現代的機器學習計算中，我們非常關注資料移動的微小量級差別——比如從 SRAM 移動到累加器的成本可能是極小的皮焦耳，但已經遠遠高於實際運算的成本。因此，如今掌握“皮焦耳”這個概念是非常重要的。
觀眾：你談到過擴充套件預訓練和當前的強化學習擴充套件。你如何看待這些模型的未來軌跡？是繼續使用一套佔據全部計算資源的單一模型，還是使用從大模型中蒸餾出來的多個小模型協同工作？你如何看待未來的 AI 模型格局？
Jeff Dean： 我一直都很看好稀疏模型，也就是在模型的不同部分具有不同專業知識的結構。這借鑑了我們對生物大腦的粗略理解，正是人腦的這種結構讓我們在 20 瓦特的功耗下也能完成很多事情。當我們擔心倒車時碰上垃圾車時，腦袋裡的莎士比亞詩歌模組並不會活躍起來。
我們在混合專家（mixture-of-experts）模型方面做了一些早期工作，其中使用了 2 到 48 個專家，並發現這種模型可以帶來顯著的效率提升。比如在相同訓練 FLOPs 下，模型質量提升了 10 到 100 倍。這非常重要。
但我認為我們還沒有充分探索這個領域，因為目前人們所使用的稀疏性模式過於規則。理想情況下，我希望模型中存在某些路徑，其計算開銷是其他路徑的百倍甚至千倍；我同時希望模型中的某些部分計算量很小，而另一些部分則非常龐大。或許它們的結構也應該不同。
我還希望模型能夠動態擴充套件，新增新的引數或新的空間片段；或許我們可以透過蒸餾過程壓縮某些部分，使其縮小至原來的四分之一大小。然後，後臺可以像垃圾回收機制一樣，釋放出這部分記憶體，再將其分配到其他更有用的地方。對我來說，這種更加有機、連續的學習系統，比我們今天所擁有的固定模型更具潛力。唯一的挑戰在於，我們目前的做法已經非常有效，因此很難徹底改變現有的做法來實現這種新模式。但我堅信，這種模式比我們目前的剛性模型結構具有巨大優勢。
參考連結：
https://www.youtube.com/watch?v=dq8MhTFCs80
宣告：本文為 InfoQ 翻譯整理，不代表平臺觀點，未經許可禁止轉載。
活動推薦
AICon 2025 強勢來襲，5 月上海站、6 月北京站，雙城聯動，全覽 AI 技術前沿和行業落地。大會聚焦技術與應用深度融合，匯聚 AI Agent、多模態、場景應用、大模型架構創新、智慧資料基建、AI 產品設計和出海策略等話題。即刻掃碼購票，一同探索 AI 應用邊界！