很多時候工程架構解決的是複雜性問題，對於 LLM 來說，模型結構相對固定，結構核心部分已經變成全手寫以達成最佳效能，好像所有的 LLM 模型幾乎可以使用同一套 API。
AI推理需求即將爆發，甚至也可以說已經爆發的2025年，真正適配AI大模型大規模落地的底層AI infra應該是什麼樣的？
DeepSeek V3 作為目前公開資料可以看到的最複雜、最精巧的大模型 infra 設計，緊密結合演算法和Infra，可以說在模型的部署上是最高階的一波了，真正發揮出了模型的極致效能。DeepSeek 把路走通以後，也許未來很多大模型框架，都會往沿著這個方向繼續演進。
我整理了DeepSeek的資源大全，涉及到DeepSeek 的官方連結、開源專案、專業的技術分析文章，以及不斷更新的行業資訊，你想知道的關於 DeepSeek 的一切，都可以在這裡找到。掃碼免費領取⬇️（下滑還有更多福利）
研夢非凡3月11日晚（週二）邀請了手握10餘篇頂會的楊導師給大家從DeepSeek-V3 的技術報告入手，深入探討 AI Infrastructure 的關鍵技術與創新實踐，展示如何透過高效的計算叢集、訓練框架、低精度訓練以及推理部署最佳化，推動大規模語言模型的效能與效率提升。
掃碼預約直播課領資料+福利
課程內容
1. 計算叢集（Compute Clusters）
如何構建高效、可擴充套件的計算叢集，以支援 DeepSeek-V3 這種擁有 6710 億引數 的大規模混合專家模型（MoE）的訓練與推理。
2. 訓練框架最佳化（Training Framework）
-
DualPipe 與計算-通訊重疊：透過 DualPipe 技術實現計算與通訊的高效重疊，最大化硬體利用率。 -
跨節點全對全通訊的高效實現：最佳化多節點間的通訊效率，減少訓練中的瓶 頸。 -
極致記憶體節省與最小開銷：在保證效能的同時，顯著降低記憶體佔用，提升訓練穩定性。
3. FP8 低精度訓練（FP8 Training）
-
混合精度框架：透過混合精度訓練加速模型收斂，同時保持高精度模型的性 能。 -
量化與乘法精度提升：在低精度訓練中透過量化與乘法最佳化，進一步提升模 型精度。 -
低精度儲存與通訊：減少儲存與通訊開銷，顯著降低訓練成本。
4. 推理與部署（Inference and Deployment）
-
Prefilling 與 Decoding 最佳化：透過預填充和解碼階段的最佳化，提升推理效率，降低延遲。 -
硬體設計建議：針對通訊與計算硬體的最佳化建議，為未來 AI 基礎設施的設計提供參考。
導師介紹
楊導師
【簡介】畢業於知名計算機名校。博士期間研究方向聚焦為計算機視覺，自然語言處理，高效的深度學習訓練和推理方法，大語言模型輕量化與高效微調技術。
曾在多家公司擔任演算法研究員，並進行計算機視覺，高效模型壓縮演算法，多模態大語言模型的研究，包括模型量化，剪枝，蒸餾，編譯以及高效稀疏化訓練與推理。
【科研成果】在國際頂級會議CVPR,ICCV, EMNLP等發表13篇論文，並擔任CVPR,ICCV,ECCV,ICML,ICLR, NeurIPS等重要會議和期刊的審稿人。
多項發明專利，指導學生有耐心，教學嚴謹，思維邏輯縝密，已經指導數十篇論文。對於成果好的學生，幫助學生寫推薦信和指導申請碩/博申請。
研夢非凡可指導的研究方向
主流方向科研論文常用方法
掃碼預約直播課領資料+福利
夢非凡科研論文指導方案
idea並不是直接拍腦門拍出來的，是一遍一遍實驗、跑程式碼、改模型、思路修正的過程中產生的。研夢非凡1V1定製化論文指導，和研夢導師一起找idea，研夢導師指導實驗，共同解決資料問題。授之以漁——搭建論文寫作框架，增刪改查，針對性實驗指導！哪裡薄弱補哪裡！
👇🏻全程1v1論文輔導掃碼諮詢助教
研夢非凡導師團隊
研夢非凡的導師來自海外QStop50、國內華五、C9、985高校的教授/博士導師/博士後，世界500強公司演算法工程師，以及國內外知名人工智慧實驗室研究員。
這是一支實力強大的高學歷導師團隊，在計算機科學、機器學習、深度學習等領域，積累了豐富的科研經歷，研究成果也發表在國際各大頂級會議和期刊上，在指導學員的過程中，全程秉持初心，堅持手把手個性化帶教。包括但不限於以下導師～～
<<< 左右滑動見更多 >>>
掃碼預約研夢非凡1v1導師meeting
研夢非凡隸屬於蘇州研途教育，深耕考研輔導行業13年，累計服務1w+付費學員（60%高校學生/教師，40%職場精英）；科研為本，質量為先！我們有：500+ 國內外頂尖高校博士/教授，網際網路大廠/獨角獸公司的高階演算法科學家組成的教師團隊;深度定製的科研服務，根據每位學員的實際情況，提供個性化的科研輔導方案，確保交付結果;一站式、全方位科研支援，從選題到方案設計，從實驗實施到論文撰寫、成果發表，4V1全流程保姆式服務！