AI計算體系：AI晶片指標

關於AI晶片指標技術分析，請參考“AI晶片基礎：計算時延Latency”附PDF，市場上當一款 AI 晶片產品釋出時候，經常會透過一些指標資料說明產品的能力，比如晶片製程，記憶體大小，核心數，頻寬，算力等，這些指標體現了 AI 產品的核心競爭力。

本文所有資料都已上傳至“智慧計算芯知識”。如“《225+份DeepSeek技術報告合集》”，“《100+份AI晶片技術修煉合集》”，“《10+份Manus技術報告合集》”，加入星球獲取嚴選精華技術報告，提供打包下載，內容持續更新…

AI 晶片關鍵指標

AI 晶片設計的目標是低成本高效率的執行 AI 模型，所以衡量 AI 晶片的關鍵指標涉及 AI 模型軟體應用層面的指標和 AI 晶片硬體市場競爭力指標兩個方面，展開如下：

精度 Accuracy

在 AI 晶片中，精度是一個非常關鍵的指標，它指的是模型在處理任務時輸出結果與實際情況之間的接近程度。理解 AI 晶片的精度指標可以從以下兩個角度：

計算精度，比如支援計算支援的位寬，FP32/FP16 等，可以保證多少位寬內的計算結果無誤差。
模型效果精度，AI 模型不同的任務有不同的模型效果評價標準，比如 ImageNet 影像識別任務的準確率，迴歸任務的均方誤差等。

吞吐量 Throughput

吞吐量指晶片在單位時間內能處理的資料量。對於具有多核心的晶片，可以處理更多並行任務，吞吐量往往更高。在不同的應用場景，對精度和吞吐量的需求是不同的。

時延 Latency

AI 晶片的時延是指從輸入資料傳入晶片開始，到輸出結果產生的時間間隔。對於需要快速響應的應用場景，如自動駕駛、智慧監控等，較低的推理時延是至關重要的。

但是 AI 晶片在執行時候往往是透過應用程式來和使用者互動，而在互動應用程式（TTA）中，時延指的是使用者輸入某個操作或請求後，系統完成相應處理併產生輸出結果之間的時間間隔。因此在 TTA 環境中，時延的影響尤為重要，因為使用者通常期望系統能夠快速響應他們的操作，以提供流暢的使用者體驗。最佳化時延可以透過多方面的手段，包括最佳化系統架構、加速處理流程、減少網路延遲等，從而提高系統的響應速度和效能表現。

能耗 Energy

AI 晶片的能耗指的是在執行 AI 任務時晶片所消耗的能量。隨著 AI 應用的廣泛普及，對於 AI 晶片的能效和能耗成為了重要關注的焦點之一。

在 AI 任務中，通常需要大量的計算資源來執行復雜的演算法，例如神經網路模型的訓練和推斷。因此，AI 晶片的能耗通常與其效能密切相關。高效能的 AI 晶片通常會消耗更多的能量，而低功耗的設計則可以減少能源消耗並延長電池壽命，這對於移動裝置和物聯網裝置等場景尤為重要。

AI 晶片的能耗取決於多個因素，包括晶片架構、製造工藝、工作負載和最佳化程度等。一些創新的設計和技術可以幫助降低 AI 晶片的能耗，例如專門針對 AI 計算任務進行最佳化的架構、低功耗製造工藝、智慧功耗管理等。

在選擇 AI 晶片時，通常需要權衡效能和能效之間的平衡 AI，以滿足具體應用場景的需求。對於一些需要長時間執行或依賴於電池供電的裝置，低能耗的 AI 晶片可能更具吸引力，而對於需要高效能計算的場景，則可能更關注晶片的計算能力和效能表現。

關鍵設計點

AI 晶片設計的關鍵點圍繞著如何提高吞吐量和降低時延，以及低時延和 Batch Size 之間權衡。具體的實現策略主要表現在 MACs 和 PE 兩個方向。

MACs

減少 MACs：MACs 是指在神經網路推理過程中進行的一種常見的計算操作，在 AI 晶片設計中，去掉沒有用的 MACs 意味著最佳化計算資源的利用，以提高效能和效率。透過減少網路的 MACs，晶片上對應增加稀疏資料的硬體結構，提升控制流和資料傳輸執行效率，達到節省時鐘週期的效果。

降低 MAC 執行時間：硬體上單次 MAC 的執行時間和時鐘頻率和指令開銷有關，所以還可以透過增加時鐘頻率和減少指令開銷來降低單次 MAC 的執行時間。

PE，處理單元（Processing Element），PE 是晶片中負責執行計算任務的基本單元，每個處理單元通常包含多個算術邏輯單元（ALU）和暫存器等計算資源，可以並行地執行多個計算任務。PE 在神經網路推理和訓練中起著至關重要的作用，其數量和效能直接影響著晶片的計算能力和效率。設計高效的處理單元是提升 AI 晶片效能的重要手段之一。