文章轉自“一文看懂英偉達A100、H100、A800、H800、H20”。

推薦閱讀：

DeepSeek研究框架（2025）（附82份DeepSeek報告）

想要Deepseek私有化部署嗎？

無論是訓練大型AI模型，還是進行高效能計算（HPC），還是Deepseek私有化部署，都需要強大的GPU支援。

而英偉達（NVIDIA）作為全球領先的AI晶片製造商，推出了一系列高效能GPU，包括A100、H100、A800、H800、H20等，廣泛應用於AI訓練、推理、科學計算等領域。

如果想搭建一個屬於自己的算力中心，該如何選擇合適的GPU？本文將帶你詳細瞭解這些GPU的特性，並指導你如何搭建算力中心。

一、英偉達算力GPU系列解析

1. A100：資料中心AI計算的奠基石

A100是英偉達2020年釋出的旗艦級資料中心GPU，基於Ampere架構，主要特性包括：

架構：Ampere
CUDA核心數：6912
Tensor核心：432
視訊記憶體：40GB/80GB HBM2e
頻寬：1.6TB/s
NVLink支援：可連線多個GPU以擴充套件算力
應用場景：深度學習訓練、推理、科學計算、大規模資料分析

A100可廣泛應用於高效能計算（HPC）和深度學習任務，適用於需要大量計算資源的企業級使用者。

2. H100：效能提升的算力王者

H100是A100的升級版，採用更先進的Hopper架構，相比A100提升了數倍的計算效能，主要特性包括：

架構：Hopper
CUDA核心數：16896
Tensor核心：528
視訊記憶體：80GB HBM3（頻寬高達3.35TB/s）
NVLink支援：支援高頻寬互聯
Transformer Engine：專門最佳化AI大模型訓練，如GPT-4
應用場景：大規模AI訓練、HPC、企業級AI推理

H100特別適用於大型AI模型訓練，比如Llama、GPT、Stable Diffusion等，可以大幅提升訓練效率。

3. A800 & H800：中國市場專供版

A800和H800是英偉達專為中國市場推出的受限版GPU，以符合美國的出口管制要求：

A800：基於A100，限制了NVLink互聯頻寬，適合AI推理和訓練
H800：基於H100，限制了頻寬，但仍然保留了較高的計算能力，適用於大型AI訓練

這些GPU主要面向中國客戶，如阿里雲、騰訊雲、百度雲等雲計算廠商，效能稍遜於A100和H100，但仍然具備極高的計算能力。

4. H20：新一代受限算力GPU

H20是英偉達為中國市場設計的新一代受限版H100，預計將取代H800：

架構：Hopper
視訊記憶體：未知（預計64GB+）
頻寬：受限
計算效能：介於A800和H800之間

H20仍然具備強大的算力，適用於AI訓練和推理，但具體效能指標需等待正式釋出後確認。

二、如何搭建自己的算力中心？

如果你想搭建自己的算力中心，無論是用於AI訓練，還是進行高效能計算，都需要從以下幾個方面考慮：

1. 確定算力需求

首先需要明確你的算力需求：

AI訓練：大規模深度學習訓練（如GPT、Transformer）推薦H100或H800
AI推理：推薦A100、A800，推理對頻寬要求較低
科學計算 & HPC：H100最優，A100次之
中小規模計算：可以考慮A800、H800或H20

2. 選擇GPU伺服器

你可以選擇以下方式搭建你的GPU算力中心：

單機GPU伺服器：

適合中小企業或個人開發者
選擇如 DGX Station A100/H100，單機最多4-8張GPU

GPU叢集：

適合企業級部署
可使用 DGX A100/H100 伺服器，支援多臺GPU互聯
透過InfiniBand和NVLink構建大規模叢集

3. 搭配高效能計算環境

CPU：推薦使用AMD EPYC 或 Intel Xeon 伺服器級CPU
記憶體：建議最低256GB，AI訓練需要大量記憶體
儲存：SSD + 高速NVMe儲存（如1PB級別）
網路：支援InfiniBand和100GbE以上高速網路

4. 軟體環境搭建

作業系統：Ubuntu 20.04 / 22.04 LTS，或基於Linux的伺服器環境
驅動與CUDA：安裝最新的NVIDIA驅動，CUDA 11+（H100支援CUDA 12）
AI框架：

PyTorch / TensorFlow
NVIDIA Triton 推理伺服器
cuDNN / TensorRT

如果對資料隱私和持續算力需求較高，建議選擇本地搭建GPU叢集。

三、訓練場景 vs 推理場景

在AI訓練（Training）和AI推理（Inference）場景下，不同GPU的效能表現存在明顯差異。主要區別體現在計算精度、頻寬需求、視訊記憶體最佳化以及核心架構等方面。以下是詳細對比：

訓練 vs. 推理：效能對比

訓練 vs. 推理：效能解析

1. 計算精度（數值格式）

在AI計算中，不同的數值格式影響計算速度和精度：

訓練需要高精度計算（如 FP32、TF32、FP16）
推理需要低精度計算（如 INT8、FP16），以提升計算吞吐量

數值格式	適用場景	精度	計算速度	備註
FP32	AI訓練	高	慢	經典浮點計算格式
TF32	AI訓練	較高	快	H100支援，兼顧速度和精度
FP16	訓練 & 推理	中	快	適合加速AI計算
INT8	AI推理	低	極快	適用於部署階段，提高吞吐量

H100 特別優化了 Transformer Engine，在 FP8/FP16 下可大幅提升 AI 訓練和推理效能，適用於 LLM（大語言模型）如 GPT-4。

2. 視訊記憶體頻寬

訓練任務 通常需要處理大規模資料，因此高視訊記憶體頻寬至關重要：

H100（HBM3，3.35TB/s） → 訓練速度比 A100 快 2-3 倍
A100（HBM2e，1.6TB/s） → 適合標準 AI 任務
H800/A800 由於頻寬受限，訓練效率比 H100 低

推理任務 一般不需要大頻寬，因為：

資料已訓練完成，只需載入模型進行計算
推理更關注 吞吐量（TPS） 和 延遲（Latency）

3. 平行計算 & 計算核心最佳化

AI訓練 依賴 矩陣計算（Tensor Cores），需要強大的 FP16/TF32 計算能力
AI推理 需要高效的 INT8/FP16 計算，以提高吞吐量

在計算核心最佳化上：

GPU型號	訓練核心最佳化	推理核心最佳化
A100	Tensor Core最佳化，FP16/TF32 訓練	支援 INT8，推理較強
H100	Transformer Engine ，最佳化LLM訓練	INT8/FP8 計算，極高推理吞吐量
A800	限制版 Tensor Core	適用於中等推理任務
H800	Hopper架構最佳化	適用於大規模推理
H20	受限 Hopper架構	適用於中等推理任務