你好，我是郭震
今天教程關於在自己電腦搭建大模型，支援開源的大模型，像主流的通義千問2.5，Llama3，教程還包括如何使用這些大模型做介面呼叫，實現自動化輸出。
如下圖所示，這是我自己的電腦安裝的兩個AI大模型，一個是qwen 7b尺寸，另一個是llama3 8b尺寸：
本地部署大模型有哪些好處呢？
首先，因為這些大模型都是開源的，安裝在自己的電腦上也是免費使用的，如下圖所示啟動qwen7b後，我可以直接在命令視窗提問它，全球各地有記載的歷史最低溫度是多少？，後面是qwen的回覆：
其次，安裝大模型在自己電腦除了我們可以直接免費使用它外，還有一個很大的好處，就是我們可以結合自己的私有檔案系統，打造一個大模型+個人知識庫的AI系統，既保護了個人資料隱私，也讓AI「更懂你」。
大模型的一些基本知識科普
可能點進來看我這篇文章的朋友，有不同行業、不同專業的，可能對一些大模型的基本概念不太瞭解，下面就先做一個基本梳理。
其中比較重要的比如qwen7b, llama8b，這裡的7b、8b代表什麼？
b是英文的billion，意思是十億，7b就是70億，8b就是80億，70億、80億是指大模型的神經元引數（權重引數 weight+bias）的總量。目前大模型都是基於Transformer架構，並且是很多層的Transformer結構，最後還有全連線層等，所有引數加起來70億，80億，還有的上千億。
大模型和我們自己基於某個特定資料集（如 ImageNet、20NewsGroup）訓練的模型在本質上存在一些重要區別。主要區別之一在於，大模型通常更加通用，這是因為它們基於大量多樣化的資料集進行訓練，涵蓋了不同領域和任務的資料。這種廣泛的學習使得大模型具備了較強的知識遷移能力和多工處理能力，從而展現出“無所不知、無所不曉”的特性。
相比之下，我們基於單一資料集訓練的模型通常具有較強的針對性，但其知識範圍僅限於該資料集的領域或問題。因此，這類模型的應用範圍較為侷限，通常只能解決特定領域或單一任務的問題。
Scaling Laws這個詞大家可能在很多場合都見到過。它是一個什麼法則呢？
大模型之所以能基於大量多樣化的資料集進行訓練，並最終“學得好”，核心原因之一是Scaling Laws（擴充套件規律）的指導和模型自身架構的優勢。Scaling Laws指出引數越多，模型學習能力越強；訓練資料規模越大、越多元化，模型最後就會越通用；即使包括噪聲資料，模型仍能透過擴充套件規律提取出通用的知識。而Transformer這種架構正好完美做到了Scaling Laws，Transformer就是自然語言處理領域實現擴充套件規律的最好的網路結構。
知道這些基本知識後，我們回到安裝大模型到本地步驟上。一共只需要三步就能做到和大模型在本地會話。
第一步
，我使用的是ollama管理各種不同大模型，當然還有其他工具，不過ollama是比較直接、比較乾淨的，如下所示，一鍵下載後安裝就行了，安裝過程基本都是下一步：
不知道去哪裡下載的，可以直接在我的公眾號後臺回覆：ollama，下載這個軟體，然後裝上：
安裝後，開啟命令視窗，輸入ollama，然後就能看到它的相關指令，一共10個左右的命令，就能幫我們管理好不同大模型：
第二步，命令視窗輸入：ollama pull qwen:7b，下載大模型qwen7b到我們自己的電腦：
同理，執行 ollama pull llama3:8b，下載大模型llama8b到本地。
ollama list，列舉出當前已經安裝的大模型：
ollama show qweb:7b，看到模型的基本資訊，執行後看到qwen7b模型的基本資訊，如下圖所示：
模型的基本資訊解釋如下：
架構qwen2，7.7b引數，32768的上下文處理長度，4096詞向量嵌入維度，Q4_0的四位量化技術。
第三步，ollama run qwen:7b，執行這條命令後，我們就可以和大模型對話了：
如下所示，大模型一般都支援多語言會話：
以上就是本地搭建AI大模型的三個步驟。
接下來，我再介紹一個比較常用的，尤其是想深入一步使用大模型介面做開發的。
ollama也支援介面開發，它預設的埠是11434，開啟瀏覽器後，輸入下面命令，會得到一個字串輸出：ollama is running:
基於上面已經搭建好的ollama+大模型qwen:7b，我們可以編寫幾行程式碼，使用ollama的介面，自動執行大模型會話。
非常實用！
具體來說，最精簡版程式碼不到10行，首先pip安裝requests包，然後執行下面程式碼：
自動輸出下面的回答：
所以，當你有很多工需要執行時，能透過API呼叫就會非常省事，自動給你回覆，自動給你幹活。
上面的url就是API介面的地址，payload是三個必須要傳入的引數，使用Python的requests包自動傳送請求，然後response得到結果。
以上就是API呼叫的完整步驟。
總結一下
這篇教程總結了自己電腦搭建大模型的步驟，以及自動呼叫大模型API的步驟。
最後說一下電腦所需要的配置，一般來說安裝上面尺寸的大模型目前電腦都可以，不過大模型回答你的速度會有區別，電腦帶有GPU顯示卡且視訊記憶體大於等於8G的回答會比較流暢，低於這個配置的就會有些卡頓，但是不至於不能使用。
以上全文2223字，13圖。如果這篇文章覺得對你有用，可否點個關注。給我個三連擊：點贊、轉發和在看。若可以再給我加個
，謝謝你看我的文章，我們下篇再見！
，謝謝你看我的文章，我們下篇再見！