與全引數微調相比，LoRA微調的效能到底如何？

大模型技術的發展和迭代2024年已經可以按天來計算了，幾乎每天都有新的大模型和技術登場，從基座模型Mamba2，Jamaba，到Dora，LoftQ，GaLore等最新的微調技術；KTO，IPO，SimPO等微調技術；再到GPTQ，SmoothQuant，AWQ，GGUF等量化技術。大模型全鏈路的技術的迭代日新月異。

您是否有感覺自己的技術能力以及學習步伐有點跟不上技術的發展？或者對這些新興技術的理解僅僅停留在應用層面上，實際上並沒有對背後的演算法原理深入剖析過？如果您希望快速適應大模型時代的發展，而不致於在海量的論文和技術文獻中掙扎和迷茫；如果你希望在大模型賽道上持續鞏固競爭壁壘，而不至於因為技術到達瓶頸而導致專案停滯不前。對技術本身的深入理解、對前沿技術的深入洞察一定是個必選項！

基於此類痛點，並緊密貼合llm前沿技術發展，貪心科技聯合數位業內頂級專家共同打造了《大模型高階研修班》。透過2個半月的時間，全面掌握近半年最火熱前沿的大模型知識技術以及背後的精髓，幫大家大大節省學習成本、提高技術競爭力。

學習收穫：

掌握前沿的大模型技術，包括新基座模型、新微調演算法、新推理方法、新多模態技術、新圖演算法和大模型的結合等
掌握每一種前沿演算法背後的理論知識、以及應用場景，部分演算法的講解涉及到程式碼解讀、從零演算法實現、實戰案例等
全面掌握2024上半年，新出的前沿大模型技術

下面是7個模組的學習安排，感興趣的朋友們歡迎掃碼諮詢。

掃描二維碼，新增顧問老師諮詢~

詳細大綱

模組一：基座模型

1、Transformer架構與機制

多頭自注意力機制：Query, Key, Value機制
Multi-query attention
位置編碼技術
層歸一化與殘差連線
案例：剖析LLama3模型結構

2、大模型訓練與最佳化

預訓練、微調與對齊過程
SFT與LoRA微調
對齊與DPO
處理長距離依賴
處理更長的上下文
梯度下降變體

3、Mamba介紹

Transformer與Seq2Seq各自有缺點
Differential Equation基礎
選擇性狀態空間模型（SSMs）
Discretization, Recurrent計算
The HIPPO矩陣
基於Pytorch實現一個基本的Mamba塊

4、Mamba核心組建與最佳化

區域性卷積寬度及其重要性
Selective Scan
整體模型架構
Mamba的最佳化策略
與Transformer最佳化的比較分析

5、Mamba2

Mamba與Mamba2的區別
Mamba2中的高階SSMs
結構狀態空間對偶性
SSMs和Transformers之間的等價性
塊分解技術
面向硬體的實現
高效投影和歸一化
實踐：在Mamba2中實現高維SSMs

6、Mamba的應用

文字生成與文字摘要生成
機器翻譯與情感分析
基於Mamba構造大模型
基於Mamba構造多模態大模型
醫療、金融領域的應用

7、Jamba模型

混合架構設計基礎
SSMs與Transformer注意機制的整合
結合Mamba和Transformer方法的優點
Jamba模型剖析
多模態注意力和狀態空間整合
跨模態嵌入對齊

8、KANs

KANs vs MLPs
Kolmogorov-Arnold representation theorem
基礎架構
Convolutional KANs (CKANs)
訓練KANs
實踐：從零實現KANs

模組二：指令微調技術

9、LoRA微調技術

必要的數學知識 – 低秩分解
LoRA的核心原理
LoRA中的各類引數設定
最佳化並獲得LoRA引數
LoRA原始碼解讀
基於開源模型實現LoRA微調

10、DoRA微調技術

從LoRA到DoRA
DoRA解決的核心問題
權重分解的低秩適應
DoRA的梯度分析
DoRA的原始碼分析
基於開源模型實現DoRA微調

11、LoftQ微調技術

量化技術基礎
不同的量化技術
傳統方法與基於LoRA的量化
LoftQ演算法的詳細介紹
背後的理論分析

12、GaLore微調技術

Weight Gradient的low rank特性
GaLore模型詳解
低秩子空間的組成
記憶體高效最佳化
超引數的調整
背後的一些理論分析

13、Mixture of LoRAs

Routing策略設計
MoA架構設計
模型的詳解
模型原始碼分析
基於開源模型實現模型微調

模組三：對齊技術

14、DPO對齊技術

偏好最佳化基礎
Bradley-Terry model
推導DPO的目標
詳解DPO的訓練
DPO背後的理論分析
基於開源模型實現DPO對齊

15、KTO對齊技術

HALOs介紹
KTO的推導過程
KL的估計
理解超引數
KTO與DPO

16、IPO對齊技術

序列似然校準
演算法詳解
online IPO
背後的理論分析
基於開源模型實現IPO對齊

17、SimPO對齊技術

DPO與SimPO主要區別
推導SimPO的目標
SimPO的引數設定
SimPO原始碼分析
對齊技術的未來發展

模組四：模型量化技術

18、GPTQ量化技術

量化技術基礎
OBQ介紹
GPTQ演算法詳解
背後理論分析
基於LLama大模型進行GPTQ量化

19、SmoothQuant量化技術

資料分佈對量化的影響
SmoothQuant核心思想
SmoothQuant演算法詳解
演算法原始碼分析
基於LLama大模型進行SmoothQuant量化

20、AWQ量化技術

AWQ核心思想
分析量化導致的誤差
選取最有價值的1%權重
AWQ演算法詳解
基於LLama大模型進行AWQ量化

21、GGUF量化技術

從GPU到CPU使用
GGUF核心思想
GGUF演算法詳解
基於LLama大模型+GGUF

模組五：多模態技術

22、MoE-LLaVA

視覺大模型基礎
訓練多模態大模型的Scaling挑戰
Hard Routers和Soft Routers
MoE總體結構
MoE三階段訓練
模型原始碼解讀
微調一個MoE-LLaVA模型

23、Mini-Gemini

模型背後核心思想
Dual Vision Encoders
Patch Info Mining
模型詳解
模型原始碼解讀

24、VideoLLaMA2

模型背後核心思想
模型總體結構
模型演算法解析
多工微調
微調一個VideoLLaMA2模型

模組六：圖與大模型

25、圖與大模型基礎

圖、知識圖譜基礎
圖和大模型結合三種常見方法
利用圖來增強大模型推理
利用大模型來增強圖模型
兩者的直接結合
大模型對圖的推理

26、推薦系統與大模型

推薦系統設計
推薦系統中使用大模型
Prompt的設計
微調推薦大模型思路
微調一個推薦領域大模型

27、GraphGPT: Graph的指令微調

Graph的推理能力分析
圖結構的編碼
Self- supervised微調
基於任務的微調
CoT蒸餾
GraphGPT的應用場景

28、知識圖譜與LLM的結合

知識圖譜背景介紹
知識圖譜與LLM結合的幾種方式
訓練能夠理解知識圖譜的LLM基座模型
知識圖譜與LLM對推薦系統的價值

模組七：具身智慧

29、具身AI簡介

歷史背景和關鍵里程碑
應用和未來趨勢
具身智慧和大模型的結合
具AI的理論
具身AI的認知架構

30、大型語言模型、感知器

LLM在具身AI中的角色
將LLM與具身系統整合的技術
具身AI中的自然語言理解和生成
機器人學簡介和機器人型別
感測器技術和資料採集
執行器和控制系統
案例：使用LLM的機器人系統

31、具身AI系統設計

具身AI的設計原則
人機互動（HRI）
多模態介面
具身AI中的強化學習
即時決策

32、評估與測試

評估具身AI系統的指標
效能測試和基準測試
使用者研究和反饋收集
迭代設計和改進

類別	說明
課程形式	線上直播+課程學習群答疑
課程安排	9次直播授課每週1次，每次3-3.5小時
課程服務	30人以內學習群，助教答疑專屬諮詢顧問與班主任老師全程伴學全程直播講解與演示可反覆觀看課程影片