機器之心編輯部
谷歌 Gemma 3 上線剛剛過去一個月，現在又出新版本了。
該版本經過量化感知訓練（Quantization-Aware Training，QAT）最佳化，能在保持高質量的同時顯著降低記憶體需求。
比如經過 QAT 最佳化後，Gemma 3 27B 的 VRAM 佔用量可以從 54GB 大幅降至 14.1GB，使其完全可以在 NVIDIA RTX 3090 等消費級 GPU 上本地執行！
Chatbot Arena Elo 得分：更高的分數（最上面的數字）表明更大的使用者偏好。點表示模型使用 BF16 資料型別執行時所需的 NVIDIA H100 GPU 預估數量。
機器之心在一臺配備了 RTX 3070 的電腦上簡單測試了其中的 12B 版本，可以看到雖然 Gemma 3 的 token 輸出速度不夠快，但整體來說還算可以接受。
基於量化感知訓練的 Gemma 3
在 AI 模型中，研究者可以使用更少的位數例如 8 位（int8）甚至 4 位（int4）進行資料儲存。
採用 int4 量化意味著每個數值僅用 4 bit 表示 —— 相比 BF16 格式，資料大小縮減至 1/4。
但是，這種量化方式通常會導致模型效能下降。
那谷歌是如何保持模型質量的？答案是採用 QAT。
與傳統在模型訓練完成後才進行量化的方式不同，QAT 將量化過程直接融入訓練階段 —— 透過在訓練中模擬低精度運算，使模型在後續被量化為更小、更快的版本時，仍能保持準確率損失最小化。
具體實現上，谷歌基於未量化的 checkpoint 機率分佈作為目標，進行了約 5,000 步的 QAT 訓練。當量化至 Q4_0（一種常見的量化格式） 時，困惑度下降了 54%。
這樣帶來的好處之一是載入模型權重所需的 VRAM 大幅減少：
-
Gemma 3 27B：從 54 GB（BF16）降至僅 14.1 GB（int4）
-
Gemma 3 12B：從 24 GB（BF16）縮減至僅 6.6 GB（int4）
-
Gemma 3 4B：從 8 GB（BF16）精簡至 2.6 GB（int4）
-
Gemma 3 1B：從 2 GB（BF16）降至僅 0.5 GB（int4）
此圖僅表示載入模型權重所需的 VRAM。執行該模型還需要額外的 VRAM 用於 KV 快取，該快取儲存有關正在進行的對話的資訊，並取決於上下文長度。
現在看來，使用者在消費級裝置上就能執行更大、更強的 Gemma 3 模型，其中：
-
Gemma 3 27B (int4)：現在可以輕鬆安裝在單張 NVIDIA RTX 3090（24GB VRAM）或類似顯示卡上，本地就能執行最大的 Gemma 3 版本；
-
Gemma 3 12B (int4)：可在 NVIDIA RTX 4060 GPU（8GB VRAM）等筆記型電腦 GPU 上高效執行，為行動式裝置帶來強大的 AI 功能；
-
更小的型號（4B、1B）：為資源較為有限的系統（包括手機和烤麵包機）提供更強大的可訪問性。
來自 Two Minute Papers 頻道的玩笑
官方 int4 和 Q4_0 非量化 QAT 模型已在 Hugging Face 和 Kaggle 上線。谷歌還與眾多熱門開發者工具合作，讓使用者無縫體驗基於 QAT 的量化 checkpoint：
-
Ollama：從今天起，只需一個簡單命令即可原生支援 Gemma 3 QAT 模型。
-
LM Studio：透過使用者友好介面，輕鬆下載並在桌面上執行 Gemma 3 QAT 模型。
-
MLX：利用 MLX 在蘋果晶片上對 Gemma 3 QAT 模型進行高效推理。
-
Gemma.cpp：使用專用的 C++ 實現，直接在 CPU 上進行高效推理。
-
llama.cpp：得益於對 GGUF 格式 QAT 模型的原生支援，可輕鬆整合到現有工作流程中。
激動的網友已經無法抑制內心的喜悅：「我的 4070 就能執行 Gemma 3 12B，這次谷歌終於為即將破產的開發者做了一些事情。」
「希望谷歌朝著 1bit 量化使使勁。」
這個可以本地執行的 Gemma 3 你用了嗎，效果如何，歡迎大家評論區留言。
參考連結：https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/?linkId=14034718
© THE END
轉載請聯絡本公眾號獲得授權
投稿或尋求報道：[email protected]
