一鍵部署，輕鬆上手！DeepSeek-R1本地部署指南，開啟你的AI探索之旅！

2025-05-13 11:22 馬哥Linux運維

春節期間突然被DeepSeek刷屏了，這熱度是真大，到處都是新聞和本地部署的教程，等熱度過了過，簡單記錄下自己本地部署及相關的內容，就當電子寵物，沒事喂一喂:D，不過有能力的還是閱讀論文和部署完整版的進一步使用。
論文連結：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

1|0一、什麼是 DeepSeek R1

2025.01.20 DeepSeek-R1 釋出，DeepSeek R1 是 DeepSeek AI 開發的第一代推理模型，擅長複雜的推理任務，官方對標OpenAI o1正式版。適用於多種複雜任務，如數學推理、程式碼生成和邏輯推理等。
DeepSeek-R1 釋出的新聞：https://api-docs.deepseek.com/zh-cn/news/news250120
根據官方資訊DeepSeek R1 可以看到提供多個版本，包括完整版（671B 引數）和蒸餾版（1.5B 到 70B 引數）。完整版效能強大，但需要極高的硬體配置；蒸餾版則更適合普通使用者，硬體要求較低
DeepSeek-R1官方地址：https://github.com/deepseek-ai/DeepSeek-R1
  • 完整版（671B）：需要至少 350GB 視訊記憶體/記憶體，適合專業伺服器部署
  • 蒸餾版：基於開源模型（如 QWEN 和 LLAMA）微調，引數量從 1.5B 到 70B 不等，適合本地硬體部署。
蒸餾版與完整版的區別
特性 蒸餾版 完整版
引數量 引數量較少（如 1.5B、7B），效能接近完整版但略有下降。 引數量較大（如 32B、70B），效能最強。
硬體需求 視訊記憶體和記憶體需求較低，適合低配硬體。 視訊記憶體和記憶體需求較高，需高階硬體支援。
適用場景 適合輕量級任務和資源有限的裝置。 適合高精度任務和專業場景。
這裡我們詳細看下蒸餾版模型的特點
模型版本 引數量 特點
deepseek-r1:1.5b 1.5B 輕量級模型，適合低配硬體，效能有限但執行速度快
deepseek-r1:7b 7B 平衡型模型，適合大多數任務，效能較好且硬體需求適中。
deepseek-r1:8b 8B 略高於 7B 模型，效能稍強，適合需要更高精度的場景。
deepseek-r1:14b 14B 高效能模型，適合複雜任務（如數學推理、程式碼生成），硬體需求較高。
deepseek-r1:32b 32B 專業級模型，效能強大，適合研究和高精度任務，需高階硬體支援。
deepseek-r1:70b 70B 頂級模型，效能最強，適合大規模計算和高複雜度任務，需專業級硬體支援。
進一步的模型細分還分為量化版
模型版本 引數量 特點
deepseek-r1:1.5b-qwen-distill-q4_K_M 1.5B 輕量級模型，適合低配硬體，效能有限但執行速度快
deepseek-r1:7b-qwen-distill-q4_K_M 7B 平衡型模型，適合大多數任務，效能較好且硬體需求適中。
deepseek-r1:8b-llama-distill-q4_K_M 8B 略高於 7B 模型，效能稍強，適合需要更高精度的場景。
deepseek-r1:14b-qwen-distill-q4_K_M 14B 高效能模型，適合複雜任務（如數學推理、程式碼生成），硬體需求較高。
deepseek-r1:32b-qwen-distill-q4_K_M 32B 專業級模型，效能強大，適合研究和高精度任務，需高階硬體支援。
deepseek-r1:70b-llama-distill-q4_K_M 70B 頂級模型，效能最強，適合大規模計算和高複雜度任務，需專業級硬體支援。
蒸餾版與量化版
模型型別 特點
蒸餾版 基於大模型（如 QWEN 或 LLAMA）微調，引數量減少但效能接近原版，適合低配硬體。
量化版 透過降低模型精度（如 4-bit 量化）減少視訊記憶體佔用，適合資源有限的裝置。
例如：
  • deepseek-r1:7b-qwen-distill-q4_K_M：7B 模型的蒸餾+量化版本，視訊記憶體需求從 5GB 降至 3GB。
  • deepseek-r1:32b-qwen-distill-q4_K_M：32B 模型的蒸餾+量化版本，視訊記憶體需求從 22GB 降至 16GB
我們正常本地部署使用蒸餾版就可以

2|0二、型號和硬體要求

2|12.1硬體配置說明

  1. Windows 配置：
    • 最低要求：NVIDIA GTX 1650 4GB 或 AMD RX 5500 4GB，16GB 記憶體，50GB 儲存空間
    • 推薦配置：NVIDIA RTX 3060 12GB 或 AMD RX 6700 10GB，32GB 記憶體，100GB NVMe SSD
    • 高效能配置：NVIDIA RTX 3090 24GB 或 AMD RX 7900 XTX 24GB，64GB 記憶體，200GB NVMe SSD
  2. Linux 配置：
    • 最低要求：NVIDIA GTX 1660 6GB 或 AMD RX 5500 4GB，16GB 記憶體，50GB 儲存空間
    • 推薦配置：NVIDIA RTX 3060 12GB 或 AMD RX 6700 10GB，32GB 記憶體，100GB NVMe SSD
    • 高效能配置：NVIDIA A100 40GB 或 AMD MI250X 128GB，128GB 記憶體，200GB NVMe SSD
  3. Mac 配置：
    • 最低要求：M2 MacBook Air（8GB 記憶體）
    • 推薦配置：M2/M3 MacBook Pro（16GB 記憶體）
    • 高效能配置：M2 Max/Ultra Mac Studio（64GB 記憶體）
可根據下表配置選擇使用自己的模型
模型名稱 引數量 大小 VRAM (Approx.) 推薦 Mac 配置 推薦 Windows/Linux 配置
deepseek-r1:1.5b 1.5B 1.1 GB ~2 GB M2/M3 MacBook Air (8GB RAM+) NVIDIA GTX 1650 4GB / AMD RX 5500 4GB (16GB RAM+)
deepseek-r1:7b 7B 4.7 GB ~5 GB M2/M3/M4 MacBook Pro (16GB RAM+) NVIDIA RTX 3060 8GB / AMD RX 6600 8GB (16GB RAM+)
deepseek-r1:8b 8B 4.9 GB ~6 GB M2/M3/M4 MacBook Pro (16GB RAM+) NVIDIA RTX 3060 Ti 8GB / AMD RX 6700 10GB (16GB RAM+)
deepseek-r1:14b 14B 9.0 GB ~10 GB M2/M3/M4 Pro MacBook Pro (32GB RAM+) NVIDIA RTX 3080 10GB / AMD RX 6800 16GB (32GB RAM+)
deepseek-r1:32b 32B 20 GB ~22 GB M2 Max/Ultra Mac Studio NVIDIA RTX 3090 24GB / AMD RX 7900 XTX 24GB (64GB RAM+)
deepseek-r1:70b 70B 43 GB ~45 GB M2 Ultra Mac Studio NVIDIA A100 40GB / AMD MI250X 128GB (128GB RAM+)
deepseek-r1:1.5b-qwen-distill-q4_K_M 1.5B 1.1 GB ~2 GB M2/M3 MacBook Air (8GB RAM+) NVIDIA GTX 1650 4GB / AMD RX 5500 4GB (16GB RAM+)
deepseek-r1:7b-qwen-distill-q4_K_M 7B 4.7 GB ~5 GB M2/M3/M4 MacBook Pro (16GB RAM+) NVIDIA RTX 3060 8GB / AMD RX 6600 8GB (16GB RAM+)
deepseek-r1:8b-llama-distill-q4_K_M 8B 4.9 GB ~6 GB M2/M3/M4 MacBook Pro (16GB RAM+) NVIDIA RTX 3060 Ti 8GB / AMD RX 6700 10GB (16GB RAM+)
deepseek-r1:14b-qwen-distill-q4_K_M 14B 9.0 GB ~10 GB M2/M3/M4 Pro MacBook Pro (32GB RAM+) NVIDIA RTX 3080 10GB / AMD RX 6800 16GB (32GB RAM+)
deepseek-r1:32b-qwen-distill-q4_K_M 32B 20 GB ~22 GB M2 Max/Ultra Mac Studio NVIDIA RTX 3090 24GB / AMD RX 7900 XTX 24GB (64GB RAM+)
deepseek-r1:70b-llama-distill-q4_K_M 70B 43 GB ~45 GB M2 Ultra Mac Studio NVIDIA A100 40GB / AMD MI250X 128GB (128GB RAM+)

3|0三、本地安裝 DeepSeek R1

我這裡的演示的本地環境：

機器：M2/M3/M4 MacBook Pro (16GB RAM+)

模型：deepseek-r1:8b
簡單說下在本地執行的好處
  1. 隱私：您的資料儲存在本地的裝置上，不會透過外部伺服器
  2. 離線使用：下載模型後無需網際網路連線
  3. 經濟高效：無 API 成本或使用限制
  4. 低延遲：直接訪問，無網路延遲
  5. 自定義：完全控制模型引數和設定
之後如果有Windows/Linux的場景需要在後續進行更新。

3|13.1部署工具

部署可以使用Ollama、LM Studio、Docker等進行部署
  1. Ollama：
    本地大模型管理框架，Ollama 讓使用者能夠在本地環境中高效地部署和使用語言模型，而無需依賴雲服務
    • 支援 Windows、Linux 和 Mac 系統，提供命令列和 Docker 部署方式
    • 使用命令 ollama run deepseek-r1:7b 下載並執行模型
  2. LM Studio：
    LM Studio 是一個桌面應用程式，它提供了一個使用者友好的介面，允許使用者輕鬆下載、載入和執行各種語言模型（如 LLaMA、GPT 等）
    • 支援 Windows 和 Mac，提供視覺化介面，適合新手使用者
    • 支援 CPU+GPU 混合推理，最佳化低配硬體效能
  3. Docker：
    • 支援 Linux 和 Windows，適合高階使用者。
    • 使用命令 docker run -d --gpus=all -p 11434:11434 --name ollama ollama/ollama 啟動容器。
由於需要本地化部署語言模型的場景，對資料隱私和自定義或擴充套件語言模型功能有較高要求，我們這裡使用Ollama來進行本地部署執行
如果只有集顯也想試試玩，可以試試下載LM Studio軟體，更適應新手，如果有需要後續更新

3|23.2 安裝 ollama

官方地址：https://ollama.com/
選擇自己的系統版本進行下載
安裝完成
控制檯驗證是否成功安裝
我們再回到ollama官網選擇模型，選擇需要的模型複製命令進行安裝
可以看到安裝完成
簡單思考下，使用過程中的硬體使用率，GPU飽和，其他使用率不是很高，速度也很快

4|0四、視覺化介面

這裡介紹下Open-WebUI和Dify
Open-WebUI是一款自託管 LLM Web 介面，提供 Web UI 與大模型互動，僅提供 Web UI，不提供 API，適用於個人使用 LLM以及本地執行大模型
Dify是LLM 應用開發平臺，不完全是視覺化介面，可以快速構建 LLM 應用（RAG、AI 代理等），提供 API，可用於應用整合，支援 MongoDB、PostgreSQL 儲存 LLM 相關資料， AI SaaS、應用開發，需要構建智慧客服、RAG 應用等

4|14.1 Open-WebUI

Open-WebUI官方地址：https://github.com/open-webui/open-webui
Open-WebUI官方文件地址：https://docs.openwebui.com/getting-started/
根據官網文件可使用pip和docker進行安裝，我這裡避免影響本地環境使用docker進行安裝

docker run -d -p

3000

:

8080

–add-host=host.docker.

internal

:host-gateway -v

open

-webui:/app/backend/

data

–name

open

-webui –restart always ghcr.io/

open

-webui/

open

-webui:main

訪問http://localhost:3000/

建立賬號
訪問成功
簡單的問下問題，實際執行8b模型給出的程式碼是有問題的，根據報錯的問題再次思考時間會變長

4|24.2 Dify

Dify官方地址：https://github.com/langgenius/dify
啟動成功，localhost訪問
登入成功選擇Ollama進行新增模型模型供應商，如果Ollama和Dify是同機部署，並且Dify是透過Docker部署，那麼填http://host.docker.internal:11434即可
接下來建立應用使用之前安裝好的DeepSeek R1模型
可以看到右上角已經使用deepseek-r1:8b的模型了
簡單的問個問題可以看到已經正常使用
Dify不只是對話，其他功能可以自行探索下，後續有使用我也會更新
以上就是簡單本地部署Deepseek- R1的過程

5|0五、關於Deepseek的使用

最後在本地部署蒸餾版的體驗中對於回答的程式碼內容有些不盡人意，不過文字以及思考過程的能力還是可以的
如果想在後續體驗完整版的Deepseek，還沒有高效能的硬體，那麼直接使用deepseek官方的服務吧，api是真的便宜

Deepseek剛出現的時候就有在體驗過包括使用API，Deepseek火了之後也總出現了伺服器繁忙請稍後再試，API的地址也無法使用，不過之前使用的API卻還可以正常使用，希望儘快修復吧
在vs code中透過Continue外掛使用Deepseek的API，也可以在Open-WebUI接入API
在使用過程中感覺到有些上下文聯絡不是很緊密，不過思考過程確實很驚豔，在某些方面o1可能還是好些
後來發現chatgpt、kimi這些也推出了推理功能:D，

對於在日常使用中Deepseek和GPT4O的對比各有千秋，可根據使用場景切換使用，但不得不說Deepseek確實很棒。
連結：https://www.cnblogs.com/shook/p/18700561
                                                              （版權歸原作者所有，侵刪）

文末福利

最後給大家送上一份新年禮物華為《Linux核心筆記》，共計1456頁，確實乾貨，運維必須收藏備用！同時也非常適合專業的運維人員，幫你提高效率，早早下班的好輔助！（文末免費一鍵領取）

這份筆記非常全面且詳細，從Linux基礎到shell指令碼，再到防火牆、資料庫、日誌服務管理、Nginx、高可用叢集、Redis、虛擬化、Docker等等，與其說Linux學習筆記，不如說是涵蓋了運維各個核心知識。


並且圖文並茂，程式碼清晰，每一章下面都有更具體詳細的內容，十分適合Linux運維學習參考！

領取方式

掃碼加上小助理（秒發）
回覆暗號“1456頁Linux筆記“，
即可100%免費領取成功
（注意：後臺回覆無效，是掃碼領取哦）

相關文章