晶片碰到的又一個危機

公眾號記得加星標⭐️，第一時間看推送不會錯過。

來源：內容編譯自semiengineering。

人工智慧資料中心的能源消耗速度大約是電網新增電力速度的四倍，這為發電地點、人工智慧資料中心建設地點以及更高效的系統、晶片和軟體架構的根本性轉變奠定了基礎。

對於正在競相建設人工智慧資料中心的美國和中國來說，這些數字尤其引人注目。美國能源部委託撰寫的一份2024年報告顯示，去年美國資料中心消耗的電量約佔美國總髮電量的4.4%，約為176太瓦時。預計到2028年，這一數字將增至325至580太瓦時，分別佔美國總髮電量的6.7%至12%。

圖 1：2014 年至 2028 年伺服器儲存、網路裝置和基礎設施的總髮電量與消耗量（預估）

與此同時，預計中國明年的能源消耗量將達到400太瓦時。雖然這些數字看起來與美國的消耗量相當，但國際能源署指出，中國公民的能源消耗量遠低於美國公民。在全球範圍內，能源消耗率每年以30%的速度增長，這主要歸因於人工智慧，其中美國和中國佔了約80%的增量。

圖2：電力消耗地點

“電力不再是玩笑，”西門子EDA副總裁兼硬體輔助驗證總經理Jean-Marie Brunet說道。“想象一下，如果2028年的資料中心用電量佔美國總用電量的12%，那簡直太瘋狂了。我們得重建整個電網。”

其他人也對此表示贊同。NVIDIA 總裁兼執行長黃仁勳在最近與Cadence執行長 Anirudh Devgan 的 CDNLive 討論中指出：“發電將會成為一件大事。原因在於電網不足以支撐這個行業的增長。我們希望在陸地上發展這個行業，如果真這麼做，我們將會看到大量柴油發電機和各種各樣的裝置。”

那麼，我們能做些什麼呢？主要有四個目標領域，每個領域都直接涉及半導體行業：

減少輸電距離和降壓次數；
儘可能限制資料移動；
更高效的處理，以及
靠近處理元件或封裝內部的冷卻效果更佳。

距離和降壓損耗

與資料一樣，電力輸送也需要成本。根據美國能源資訊署的資料，平均有5%的電力在輸配過程中損耗。然而，違反直覺的是，長達數百英里的高壓線路的損耗（約2%）比短距離低壓線路的損耗（約4%）更低。這些數字還會因電源的不同而疊加，因為不同的電源轉換率不同（見下圖3）。

圖3：美國電力消耗量

（單位：千萬億英熱單位）

Saras Micro Devices 首席商務官 Eelco Bergman 表示：“理想情況下，電壓要儘可能高，這意味著電流要儘可能低。損耗是電流的平方乘以電阻。所以一路上都在損耗電能。無論高壓線是什麼，你都要不斷降低電壓。例如，資料中心的電壓可能是 400 伏，然後被轉換為 48 伏提供給機架，最終降壓到 12 伏到達負載點。但在整個過程中，你都希望在資料中心附近發電，以縮短距離，並儘可能保持高電壓，並使電壓接近終端。”

這裡需要權衡的是電壓與電流。電流越大，發熱量越大。而且沒有哪個器件的效率是100%，所以隨著電源靠近封裝，會產生一些熱量。反過來，封裝內部發生的所有事情，包括資料處理、資料在記憶體中的來回傳輸，以及互連中的電阻/電容，都會使發熱量進一步加劇。此外，AI資料中心需要處理的資料更多，因此這些工作負載需要更高的利用率，這使得滿足散熱需求變得更加困難。

因此，從高壓線到低壓線，再到PCB、封裝，最終到單個晶片，每一步都會產生功率損耗，Bergman說道。“如何縮短距離？電壓能儘可能接近多少？效率如何？散熱能力如何？這些都是業界正在關注的問題。”

晶片行業在此扮演著重要角色。“由於現有基礎設施的限制，我們的步驟太多，中間電壓等級太多，”弗勞恩霍夫IIS自適應系統工程部高效電子部門負責人安迪·海尼格 (Andy Heinig) 表示。“當然，我們可以在這方面節省大量能源。我們還看到，處理器和電源調節器需要協同工作。目前，電源調節器並不智慧。它們只能跟蹤來自處理器的電流。但處理器知道它們在下一個週期要做什麼，並且可以通知電源轉換器即將發生大幅跳變或某些裝置被關閉。因此，在某些方面，我們可以共同最佳化處理器和電壓調節器，減少中間電壓等級的數量將有所幫助。”

移動資料

另一個挑戰是構建系統，使資料處理更靠近源頭。這可以減少需要移動的資料量。但與此同時，資料傳輸的距離也需要縮短。這是 3D-IC 封裝背後的關鍵驅動因素之一。無需在 SoC 上佈線，而是可以策略性地垂直放置元件，以縮短這些距離。這不僅提高了效能，還降低了驅動訊號所需的功率。

Arteris產品管理和營銷副總裁 Andy Nightingale 表示：“目前，我們的客戶面臨的最大挑戰之一是設計中的線長。多裸片是一個單獨的挑戰，但在每個單片裸片變成多裸片之前，縮短線長對於功耗來說至關重要。我們關注的一個方面是擁塞。我們在設計分析中也使用了熱圖來檢視擁塞，因為那是多條線在開關處匯合的關鍵點。我們也在平面圖內工作，在其中我們將物理設計視覺化，以便我們可以將開關移出擁塞點，同時仍然在平面圖內工作，以減少某個區域的散熱和電源擁塞。”

這也需要思維模式的轉變，因為在人工智慧資料中心，電力仍然排在效能之後。但如果電力供應不足，或者電價飆升，那麼人工智慧公司將別無選擇，只能認真考慮電力問題。

Ansys（現為 Synopsys 旗下公司）產品營銷總監 Marc Swinnen 表示：“如今，AI 設計的重點仍然放在效能上，這意味著雖然功耗確實非常重要，但相比於如何發揮晶片的最佳速度和效能，功耗仍然是次要考慮因素。功耗和效能之間總是存在權衡，這是根本。因此，如果真的想降低功耗，就必須降低效能。遵循摩爾定律會有所幫助，這會降低功耗。另一方面，大部分功耗用於 GPU 與不同元件之間的通訊，甚至用於資料中心的背板。NVIDIA 推出了共封裝光學網路，就是為了降低機架內和機架之間的通訊功耗。”

解決這些問題需要整個晶片行業的變革。“一切都從晶片開始。如果晶片非常耗電，而你想構建一個LLM，那麼你就必須訓練它，”西門子的Brunet說道。“你透過新增多種功能和擴充套件來訓練它。但如果你把所有東西加起來，從一個非常耗電的元素開始，那麼整個系統就會變得非常耗電。你還有一個數字孿生，你也需要大量的電力來計算這個數字孿生。但這不僅僅是EDA行業的問題。這是全世界的問題。”

更高效的處理

好訊息是，有一些顯而易見的低成本解決方案。Movellus 總裁兼執行長 Mo Faisal 表示：“僅僅是由於缺乏可見性，就存在 20% 的功耗稅。例如，假設你設計了一個 2 GHz 500 瓦的晶片。當你完成系統級測試並準備部署時，你會發現所有這些電源系統都是按照不同的目標構建的。所以現在，如果你想保持在 500 瓦以內，你必須將頻率降低 10% 到 20%。這基本上是一個節流閥。對於晶片組來說，情況只會變得更糟，因為現在你擁有的是同樣的東西，但你要將其乘以你正在處理的晶片組數量。每個晶片組可能有不同的工藝角，或者它可能採用不同的工藝。”

這只是一部分情況。“透過從晶片到系統，再到資料中心，提高可視性，可以額外獲得 20% 到 30% 的收益，”Faisal 說道。“這兩者相互疊加，所以並非非此即彼。原因是晶片設計師擔心風險。‘嘿，我不希望晶片出現故障。’所以他們會透過冗餘來超額配置。但在部署過程中，當你設計資料中心時，你不是在為最大工作負載而設計的，而是在為峰值工作負載而設計的。原因是工作負載和軟體的變化速度遠快於晶片。你不可能用現場看到的所有工作負載組合來測試晶片，因為工作負載、模型、轉換器和代理都在快速變化。所以你必須考慮到這一點。與最大負載相比，資料中心的容量配置超出了 30%。”

理解半導體的使用方式對於這個等式也至關重要。僅僅增加冗餘度併為最壞情況設定保護帶，就會增加驅動訊號透過額外電路所需的功率，以及由於導線中的電阻/電容而需要耗散的熱量。

摩爾定律在這裡也發揮了作用。雖然每個新工藝節點上處理器效能的提升正在逐漸減弱，但預計功耗的改善將非常顯著——最高可達 30%，具體取決於工藝和代工廠。與任何新工藝一樣，這些數字會因架構和工作負載的不同而有很大差異。

冷卻

經驗法則是，資料中心的電力成本是雙重的。第一次是為伺服器和儲存機架供電。第二次是為它們冷卻，防止它們過熱。而這正成為一個更大的問題，因為動態電流密度隨著人工智慧伺服器的利用率而不斷增加。訓練大型（甚至小型）語言模型，以及支援生成式和代理式人工智慧搜尋，需要更多的處理能力。這反過來又提高了各種計算單元的利用率，使它們能夠在更長的時間內全速執行。

Saras Bergman 表示：“冷卻的電力開銷約為 30% 到 40%，如果只採用液體冷卻而不使用冷卻器，就可以將這一比例降低一半。但如果新增冷卻器，電力開銷又會回升。這裡需要進行最佳化。”

這個等式的關鍵點在於水的可用性。封閉系統中的自來水需要冷卻。使用當地供水則不需要。但根據環境與能源研究所的資料，一個大型資料中心每天的耗水量高達500萬加侖，這大約相當於一個擁有1萬至5萬人口的城鎮的用水量。

兩種替代方案是直接冷卻單個晶片和浸入式冷卻。直接冷卻可以採用微流體通道，這個想法最早由IBM在20世紀80年代提出，後來由於難度過大而被放棄。但隨著熱密度的增加，晶片製造商可能別無選擇，只能採用某種型別的微流體技術。然而，實施這種方法會增加結構和製造方面的挑戰。這個想法很容易理解，因為水冷技術已經使用了半個多世紀。但在封裝或晶片內部，更靠近電晶體的位置實施它仍然是一個挑戰。

英特爾高階首席工程師兼公司熱核心能力小組負責人 Rajiv Mongia 解釋說：“如果你考察一項冷卻技術，就會發現它需要考慮傳熱效率（這往往是從熱阻的角度來看待的），以及廣義上的結點到流體溫度。但如果從熱力學的角度來看，它關注的不是結點到流體的入口溫度，而是結點到流體的出口溫度。基本上，流體流出封裝或封裝區域時的溫度越高，從傳熱角度來看，下游裝置就越容易管理。這會影響冷卻裝置、冷卻器以及所有相關裝置的整體效率。”

這是堆疊晶片時的一個關鍵考慮因素。“當我們談到3D-IC時，你可能需要在結構內部注入流體，比如晶片背面的矽微通道，”Mongia說。“這是一個效益與複雜性的比率。你可以用這種放在背面的板來冷卻它。但是，一旦3D堆疊內部的體積足夠大——想象一下某種立方體——你就無法再透過矽片的一側傳導熱量。你必須以某種方式從矽片內部吸出熱量。最終，你需要一些特殊的機制，因為你要在如此大的矽片體積內產生如此多的能量，而不僅僅是在一個表面上。”

相比之下，浸入式冷卻則需要將整個伺服器放入惰性液體中。其挑戰與微流體相同。熱量需要從機架內部排出，而將封裝內的熱負荷耗散到外部冷卻槽中比聽起來要複雜得多。這需要了解元件在封裝內的位置、潛在的熱介面材料，以及從數字邏輯到封裝外部的熱通道。

也有可能將這兩種方法一起使用，以大幅降低熱量，從而實現更均勻的電晶體密度和更大的電力需求。

資金和資源

晶片行業不會忽視這些。為了繼續保持至少與今天一樣快的增長速度，需要解決兩個相關問題——可持續性和成本。這些問題最終將決定人工智慧資料中心的部署速度、其能夠處理的處理量，以及從傳輸角度和晶片/系統/封裝設計角度需要進行哪些改變。

西門子數字工業軟體執行長邁克·埃洛表示：“可持續性始終是企業關注的重點，因為幾十年來，企業一直面臨著更好地利用自然資源的壓力。這正是我們的發展方向，以半導體為支柱，將助力眾多行業發展。從資料中心的功耗來看，我們的發展方向是不可持續的。對我們來說，挑戰在於如何在資料中心現有的相同功耗配置下，將四倍、五倍甚至六倍的計算能力投入其中。”

商業基礎也體現在這幅圖中。“歸根結底，這是總擁有成本，”英特爾的 Mongia 說。“無論是你正在建立的大型語言模型，還是你試圖生成的推理，都需要資本成本和運營成本。散熱成本既包括資本成本，也包括運營成本。那麼，平衡點在哪裡？投資回報率 (ROI) 是多少？升級到液體冷卻解決方案需要多少成本，因為從歷史上看，液體冷卻比空氣冷卻更昂貴。所有這些 AI 資料中心或 AI 解決方案主要都採用液體冷卻。對於我們來說，要構建它，你需要從你的軟體包中獲得更多，這意味著在生成你的語言模型時有更多的推理或更高的效能，從而隨著時間的推移降低運營成本。”

結論

為了更好地理解這一點，我們可以想象一下，內華達州胡佛大壩每年發電量約為 4 TWh，亞利桑那州帕洛弗迪核電站每年發電量為 32 TWh，而中國三峽大壩預計每年發電量為 90 TWh。但按照目前的增長速度，2028 年至 2030 年間，人工智慧資料中心的電力需求將增加 350 TWh，幾乎是所有這些發電設施總髮電量的三倍。

任何單一的改變都無法縮小這一差距。半導體行業要想繼續以目前的速度增長，就需要從電網向下，到晶片向上的變革。即便如此，目前尚不清楚這是否真的能縮小差距，還是隻會讓人工智慧資料中心的規模進一步擴大。

參考連結

https://semiengineering.com/crisis-ahead-power-consumption-in-ai-data-centers/

*免責宣告：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支援，如果有任何異議，歡迎聯絡半導體行業觀察。

END

今天是《半導體行業觀察》為您分享的第4102期內容，歡迎關注。

推薦閱讀