一、什麼是大模型微調？

📖 故事解釋：

📖 生活案例解釋：

• 基礎版音箱只會普通話（預訓練模型）
• 給它聽 100 句四川話（微調資料）
• 現在能聽懂"擺龍門陣"（方言理解能力↑）

• 原始相機拍所有場景（通用模型）
• 載入“美食濾鏡”引數（微調後的模型）
• 拍食物時自動增強飽和度（專業能力強化）

加強版解釋：樂高城堡改造成兒童醫院

第一步：原有結構 —— 通用樂高城堡

第二步：區域性改造 —— 低成本改裝

第三步：新功能 —— 變身兒童醫院

二、當前嘗試過的硬體配置

三、微調工作

(1) 資料集準備

(2) 模型微調程式碼（此處是無框架純手搓）——直接上了，後面會有細節講解

(3) 程式碼詳細講解

1. 匯入必要的庫和模組

1. torch (PyTorch 庫的核心模組)

• 功能：深度學習框架，提供張量計算和神經網路構建功能。
• 程式碼中的作用：
• 管理GPU裝置 (torch.cuda.is_available() 檢查GPU可用性)
• 定義模型訓練時的張量操作
• 控制混合精度訓練 (torch.float16)

2. matplotlib.pyplot (Matplotlib 繪相簿)

• 功能：資料視覺化工具庫。
• 程式碼中的作用：
• 繪製訓練損失曲線 (plt.plot(losses))
• 生成並儲存訓練過程的Loss變化圖 (loss_curve.png)

3. transformers (HuggingFace Transformers 庫)

• 核心元件：
• AutoTokenizer：自動載入預訓練模型對應的分詞器
• 用於將文字轉換為模型可理解的 token ID 序列
• AutoModelForCausalLM：自動載入因果語言模型（如GPT系列）
• 提供基礎的大語言模型結構
• TrainingArguments：定義訓練超引數
• 控制批次大小、學習率、日誌頻率等
• Trainer：封裝訓練流程的類
• 自動處理訓練迴圈、梯度下降、日誌記錄等
• TrainerCallback：訓練回撥基類
• 用於實現自定義訓練監控邏輯（如示例中的損失記錄）

4. peft (Parameter-Efficient Fine-Tuning)

• 功能：實現引數高效微調方法的庫。
• 核心元件：
• LoraConfig：LoRA（Low-Rank Adaptation）的配置類
• 定義秩(r)、目標模組(target_modules)等關鍵引數
• get_peft_model：將基礎模型轉換為 PEFT 模型
• 僅需訓練原模型約 0.1% 的引數即可實現有效微調
• 程式碼中的作用：
• 對 LLaMA 等大模型進行輕量化微調
• 視訊記憶體佔用量減少約 60-70%，適合消費級 GPU

5. datasets (HuggingFace Datasets 庫)

• 功能：高效資料集載入與處理工具。
• 核心方法：
• load_dataset：載入多種格式的資料
• 支援 JSON/CSV/Parquet 等格式（示例中使用 JSON）
• map：資料預處理流水線
• 應用自定義的格式化函式 (format_example)
• 程式碼中的作用：
• 從本地檔案載入醫療問答資料集
• 將原始資料轉換為模型需要的輸入格式

6. os (作業系統介面)

• 功能：提供作業系統相關功能。
• 程式碼中的作用：
• 建立輸出目錄 (os.makedirs)
• 處理檔案路徑相關操作
• 確保模型儲存路徑的有效性

2. 配置路徑和硬體檢查

1.拼接指令和答案

• 作用：將問題（Question）和詳細分析（Complex_CoT）拼接成一個指令。
• 示例：
• 輸入：Question="發燒怎麼辦？", Complex_CoT="可能是感冒引起的。"
• 輸出："診斷問題：發燒怎麼辦？\n詳細分析：可能是感冒引起的。"
• 類比：就像把問題和分析寫在一張紙上。

2.使用分詞器處理文字

• 作用：將拼接後的文字轉換為模型可以理解的格式。
• 引數說明：
• padding="max_length"：將文字填充到固定長度（512）。
• truncation=True：如果文字超過 512 個 token，就截斷。
• max_length=512：最大長度為 512。
• return_tensors="pt"：返回 PyTorch 張量。
• 示例：
• 輸入："診斷問題：發燒怎麼辦？\n詳細分析：可能是感冒引起的。\n### 答案：\n多喝水，休息。"
• 輸出：input_ids=[101, 234, 345, …, 102], attention_mask=[1, 1, 1, …, 1]
• 類比：就像把文字翻譯成機器能懂的數字。

---

3.返回處理後的輸入

• 作用：返回處理後的輸入資料，並移除多餘的維度。
• 引數說明：
• input_ids：文字對應的 token ID 序列。
• attention_mask：標記哪些位置是有效 token（1 表示有效，0 表示填充）。
• 類比：就像把翻譯好的數字整理成一張表格。

4.應用格式化函式

• 作用：對整個資料集應用格式化函式，並移除原始列。
• 引數說明：
• format_example：格式化函式。
• remove_columns=dataset.column_names：移除原始列（如 Question、Complex_CoT 等）。
• 類比：就像把整本書的每一頁都翻譯成機器能懂的格式。

5. LoRA微調配置

• 作用：控制低秩矩陣的維度。秩越小，引數越少，計算量越小。
• 解釋：
• 秩（r）是低秩矩陣的分解維度，決定了低秩矩陣的大小。
• 例如，r=16 表示低秩矩陣的維度是 16。
• 影響：
• 較小的 r 會減少引數量，但可能會降低模型的表現。
• 較大的 r 會增加引數量，但可能會提高模型的表現。
• 比喻：

• 預設值：通常設定為 8 或 16。並非越大越好。LoRA 秩的選擇需要平衡模型的適應能力和計算效率。較大的秩可以提供更強的表達能力，但會增加計算量和視訊記憶體佔用，同時可能導致過擬合。對於簡單任務，通常推薦使用較小的秩（如 4 或 8），而對於複雜任務，可能需要更高的秩（如 16 或 32）

2. lora_alpha=32：縮放係數

• 作用：控制低秩矩陣對原始模型的影響強度。
• 解釋：
• lora_alpha 是一個縮放因子，用於調整低秩矩陣的輸出。
• 具體來說，低秩矩陣的輸出會乘以 lora_alpha / r。
• 影響：
• 較大的 lora_alpha 會讓低秩矩陣的影響更強。
• 較小的 lora_alpha 會讓低秩矩陣的影響更弱。
• 比喻：

• 預設值：通常設定為 32。

3. target_modules=["q_proj", "v_proj"]：目標模組

• 作用：指定需要插入低秩矩陣的模型模組。
• 解釋：
• q_proj 和 v_proj 是 Transformer 模型中的注意力機制模組：
• q_proj：查詢（Query）投影矩陣。
• v_proj：值（Value）投影矩陣。
• LoRA 會在這兩個模組中插入低秩矩陣。
• 影響：
• 選擇不同的模組會影響微調的效果。
• 通常選擇 q_proj 和 v_proj 是因為它們對模型的表現影響較大。

4. lora_dropout=0.05：Dropout 率

• 作用：防止過擬合。
• 解釋：
• Dropout 是一種正則化技術，隨機丟棄一部分神經元，防止模型過度依賴某些特徵。
• lora_dropout=0.05 表示在訓練過程中，有 5% 的低秩矩陣引數會被隨機丟棄。
• 影響：
• 較大的 Dropout 率會增加模型的魯棒性，但可能會降低訓練效率。
• 較小的 Dropout 率會減少正則化效果，但可能會提高訓練速度。

5. bias="none"：偏置引數

• 作用：控制是否訓練偏置引數。偏置引數的作用是為模型的輸出提供一個基線偏移（baseline offset），使得模型能夠更好地擬合數據。
• 解釋：
• bias="none" 表示不訓練偏置引數。
• 其他選項包括 "all"（訓練所有偏置引數）和 "lora_only"（只訓練 LoRA 相關的偏置引數）。
• 影響：
• 不訓練偏置引數可以減少引數量，但可能會影響模型的表現。

6. task_type="CAUSAL_LM"：任務型別

• 作用：指定任務型別。
• 解釋：
• CAUSAL_LM 表示因果語言模型（Causal Language Model），即生成式任務（如 GPT）。
• 其他任務型別包括序列分類（SEQ_CLS）、序列到序列（SEQ_2_SEQ）等。
• 影響：
• 不同的任務型別會影響 LoRA 的實現方式。

訓練引數配置

• 作用：指定訓練過程中模型和日誌的儲存路徑。此處的 output_path 之前已經寫在了最前面的變數之中。
• 解釋：
• 訓練過程中生成的模型檢查點、日誌檔案等都會儲存到這個目錄。
• 示例：
• 如果 output_path = "./output"，所有檔案都會儲存到 ./output 目錄下。

2. per_device_train_batch_size=2：單 GPU 批次大小

• 作用：設定每個 GPU 上的訓練批次大小。
• 解釋：
• 批次大小是指每次輸入模型的樣本數量。
• 較小的批次大小可以節省視訊記憶體，但可能會降低訓練速度。
• 示例：
• 如果使用 1 個 GPU，每次訓練會輸入 2 條資料。

3. gradient_accumulation_steps=4：梯度累積步數

4. num_train_epochs=3：訓練輪次

• 作用：設定模型在整個資料集上訓練的輪次。
• 解釋：
• 1個輪次（epoch）表示模型完整地遍歷一次訓練資料集。
• 這裡設定為 3，表示模型會訓練 3 輪。
• 示例：
• 如果資料集有 1000 條資料，模型會遍歷這 1000 條資料 3 次。

5. learning_rate=3e-4：初始學習率

6. fp16=True：混合精度訓練

• 作用：啟用混合精度訓練，節省視訊記憶體並加速訓練。
• 解釋：
• 混合精度訓練是指同時使用 16 位（半精度）和 32 位（單精度）浮點數。
• 16 位浮點數佔用更少的視訊記憶體，計算速度更快。
• 示例：
• 如果視訊記憶體不足，啟用 fp16 可以顯著減少視訊記憶體佔用。

7. logging_steps=20：日誌記錄頻率

• 作用：設定每隔多少步記錄一次日誌。
• 解釋：
• 日誌包括損失值、學習率等資訊。
• 這裡設定為 20，表示每隔 20 步記錄一次日誌。
• 示例：
• 如果總訓練步數是 1000，會記錄 50 次日誌（1000 / 20 = 50）。

8. save_strategy="no"：儲存策略

• 作用：設定是否儲存中間檢查點。
• 解釋：
• "no" 表示不儲存中間檢查點。
• 其他選項包括 "epoch"（每輪儲存一次）和 "steps"（每隔一定步數儲存一次）。
• 示例：
• 如果設定為 "epoch"，每輪訓練結束後會儲存一次模型。

9. report_to="none"：停用第三方報告

• 作用：停用第三方日誌報告工具（如Weights & Biases）。
• 解釋：
• 如果不需要使用第三方工具記錄日誌，可以設定為 "none"。
• 示例：
• 如果設定為 "wandb"，日誌會同步到 Weights & Biases平臺。

10. optim="adamw_torch"：最佳化器型別

• 作用：指定最佳化器型別。
• 解釋：
• adamw_torch 是一種常用的最佳化器，結合了 Adam 和權重衰減（Weight Decay）。
• 適合大多數深度學習任務。
• 示例：
• 如果訓練不穩定，可以嘗試其他最佳化器，如 sgd[Stochastic Gradient Descent（隨機梯度下降]。SGD 是一種用於最佳化模型引數的演算法，透過計算損失函式的梯度並更新引數，使損失函式最小化。

11. no_cuda=False：強制使用 CUDA

• 作用：強制使用 GPU 進行訓練。
• 解釋：
• no_cuda=False 表示使用 GPU。
• 如果設定為 True，則會使用 CPU（不推薦）。
• 示例：
• 如果GPU可用，模型會自動使用 GPU 進行訓練。

12. dataloader_pin_memory=False：停用鎖頁記憶體

• 作用：設定是否使用鎖頁記憶體（Pinned Memory）加速資料載入。
• 解釋：
• 鎖頁記憶體可以提高資料載入速度，但會佔用更多主機記憶體。
• 這裡設定為 False，表示停用鎖頁記憶體。
• 示例：
• 如果主機記憶體充足，可以設定為 True 以加速訓練。

13. remove_unused_columns=False：保留未使用的列

• 作用：設定是否移除資料集中未使用的列。
• 解釋：
• 如果設定為 True，會移除資料集中未被模型使用的列。
• 這裡設定為 False，表示保留所有列。
• 示例：
• 如果資料集中包含一些額外的資訊（如 ID），可以保留這些列。

主函式（訓練流程）

1. 載入 Tokenizer 並設定填充符

• 作用：載入預訓練模型的分詞器，並設定填充符。
• 解釋：
• AutoTokenizer.from_pretrained：自動載入與模型匹配的分詞器。
• tokenizer.pad_token = tokenizer.eos_token：將結束符（EOS）作為填充符（Pad Token）。
• 示例：
• 如果輸入序列長度不足，會用 EOS 填充。

2.載入預訓練模型

• 作用：載入預訓練的語言模型，並配置硬體相關設定。
• 解釋：
• AutoModelForCausalLM.from_pretrained：載入因果語言模型（如 GPT）。
• torch_dtype=torch.float16：使用半精度（16 位浮點數）載入模型，節省視訊記憶體。
• device_map={"": device}：將模型載入到指定的 GPU 裝置上。
• 示例：
• 如果 device = "cuda:0"，模型會載入到第一個 GPU 上。

3.資料整理函式

• 作用：將多條資料整理成一個批次。
• 解釋：
• input_ids：輸入序列的 token ID。
• attention_mask：標記有效 token 的位置。
• labels：因果語言模型的標籤與輸入相同（模型需要預測下一個 token）。
• 示例：
• 如果輸入是 ["診斷問題：發燒怎麼辦？", "診斷問題：頭痛怎麼辦？"]，會被整理成一個批次。

4.初始化 Trainer

• 作用：建立訓練器物件，管理訓練過程。
• 解釋：
• model：要訓練的模型。
• args：訓練引數（如批次大小、學習率等）。
• train_dataset：訓練資料集。
• data_collator：自定義的資料整理函式。
• callbacks：訓練回撥（如損失記錄）。

四、完結感言