你好,我是郭震
很多朋友想親自體驗在自己電腦部署大模型,然後推理得到結果,完整部署走一遍,確實能貼近和AI的距離。
之前介紹過DeepSeek-R1模型的本地部署,此模型主要是輸入文字並生成文字形式的回答,屬於單模態模型。今天這篇教程咱們來點不一樣的,部署一個DeepSeek的多模態模型,就是在2025年1月最新發布的Janus-Pro:7B,部署後它能做:
1)理解圖片,輸入一張圖,會生成對圖片的描述資訊,比較實用,很多朋友都想提取圖片的內容。
2)輸入文字生,成對應的高畫質圖,也很實用。
1 部署所需電腦配置
大模型部署需要一定電腦配置,今天咱們要部署的Janus-Pro:7B大概需要24GB的GPU視訊記憶體,顯示卡RTX、A100等系列都可以,如下所示:

這裡簡單科普下,大模型為啥都需要GPU視訊記憶體,因為跑大模型需要快取權重引數和中間計算狀態,比如模型權重儲存,啟用值快取,並且它們必須要在高速視訊記憶體裡,這樣才能保證高效推理。一般7B引數、混合16位精度的大模型,大概需要20G~24G的視訊記憶體,目前如RTX-4090顯示卡就支援24GB視訊記憶體。
可能有的朋友看到這裡就犯愁了,自己電腦不滿足此配置,應該怎麼解決?大家不用擔心,有解決方案,可以去雲算力平臺。我經常用的一個就是gpugeek,它家提供了常用的GPU資源,使用簡單,部署新模型也容易,比如今天大家跟著下面教程,大概10分鐘就能部署DeepSeek的多模態推理模型Janus-Pro:7B。
2 完整部署步驟
第一步,開啟瀏覽器,輸入地址:
https://gpugeek.com
點選右上角,彈出使用者介面,建立一個新的GPU例項,如下圖所示,按照我的選擇配置就行,RTX-4090-24G,映象選擇Miniconda:

第二步,建立完成後,透過自己電腦的命令視窗就能登入。登入時用到登入資訊,在介面右下角的登入那裡可以找到,點選登入出現下面介面:

然後輸入到自己的電腦這裡:

登入後進入我們輸入nvidia-smi –list-gpus,可以檢視GPU型號:

第三步,建立虛擬環境:

切換到當前新安裝的環境:

下載Janus-Pro 7B 模型到本地電腦:
https://github.com/deepseek-ai/Janus.git
第四步,執行pip install -e . 安裝所有依賴:

安裝依賴大概需要5分鐘,然後安裝Gradio,直接生成文生圖的操作介面:

第五步,配置映象,下載Janus-Pro-7B,這一步的作用是下載Janus-Pro:7B模型到本地,執行下面兩條命令:
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download deepseek-ai/Janus-Pro: 7B
再執行下面命令就能啟動Janus了:
python demo/app_januspro.py –device cuda
最後在自己的電腦執行下面命令,轉埠到自己的電腦:
ssh -L 7860:127.0.0.1:7860 -p 48301 [email protected]
接下來,在自己的電腦開啟瀏覽器,輸入:
http://127.0.0.1:7860/
就會出現網頁介面,如下圖所示,表明自己部署DeepSeek多模態大模型Janus-Pro:7B成功了:

3 使用自己部署的模型
Janus-Pro:7B支援兩類能力,一是理解圖片能力,就是你給它一個圖,它會理解這幅圖,包括圖例的文字等。
接下來,我們上傳一個圖,測試下Janus-Pro 7B 理解圖的能力,咱們把deepseek的logo圖:

傳給到Janus-Pro:7B模型,然後輸入提問,然後開始推理,很快我們拿到了第一個推理結果,如下圖所示:

字型稍微有點小,大家可以放大看看,結果比較精準。
以上我們測試了DeepSeek的Janus-Pro模型,理解圖片的能力,效果不錯。
DeepSeek的Janus-Pro模型除了具有看圖能力外,還有文生圖能力,就是給它一個提示詞,它會生成對應的圖片。
這個功能在頁面下方,介面如圖所示:

這裡我們簡單輸入:a nice and real cat in the universal, 大概5-10秒出圖,如下所示:

一次會生成5張,放大後的效果如下所示,這裡我們直接使用最原生的Janus-Pro 7B部署,所以對英文提示詞支援最好,當然如果要想對中文更友好的支援,只需做一個簡單的中譯英,然後再輸入到Janus裡:

我們還可以調低溫度,讓模型生成的影像更有創意一些,如下提示詞:the face of a beautiful girl:

生成如下5張圖片,其中一張效果:

大家感覺效果如何,推理速度很快,在這種推理效果下,得到這種高畫質圖,說明Janus-Pro模型的實力。
Janus-Pro 7B論文展示了目前與其他模型的對比得分,目前超過DALLE3模型,在常見資料集測試多模態得分都很高:

Janus-Pro是怎麼做到的?它把看圖和生圖解耦分離出來,各自維護自己的編碼和解碼器,只在Transformer這層共享多模態資訊:

最後總結一下
文章介紹了自己手動部署開源大模型的完整過程,大家按照文中步驟,差不多十來分鐘就能部署好。
對於電腦配置不夠的朋友,可以去gpugeek這裡,點選下方閱讀原文註冊就送10元券,足夠大家體驗安裝DeepSeek多模態大模型了。並且A5000伺服器,目前破價到0.88元每小時,行業裡沒見過優惠這麼大的,非常划算,想要接入遠端算力的不要錯過。
透過gpugeek,按照咱們這篇教程的步驟,安裝DeepSeek多模態大模型後,大家便可使用它的兩類能力:
1)看圖說話,也就是不僅能直接提取圖片內容,還能更精準的理解圖;
2)文生圖,體驗DeepSeek的最新多模態大模型Janus-Pro生成圖片
實踐出真知,希望這篇完整的大模型部署教程,能夠讓大家更近距離的感受AI。
以上全文3189字,19圖。如果覺得這篇文章對你有用,可否點個關注。給我個三連擊:點贊、轉發和在看。若可以再給我加個⭐️,謝謝你看我的文章,我們下篇再見。