大模型實踐|卡比人貴時代的大模型經驗

2025-04-30 01:07 機器學習演算法與自然語言處理

MLNLP

社群是國內外知名的機器學習與自然語言處理社群，受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。


社群的願景是促進國內外自然語言處理，機器學習學術界、產業界和廣大愛好者之間的交流和進步，特別是初學者同學們的進步。
來源 | NLP工作站
作者｜黃哲威hzwer
太長不看版，大模型實驗的一些新方法論：
  • 選準關鍵指標，指導迭代方向。
  • 識別真瓶頸，避免低效實驗，驗證強假設。
  • 平衡大小實驗，大實驗找問題，小實驗篩想法。
  • 強化團隊協作，整合資源，找比較優勢。
  • 總結好像很套話，但真的努力寫乾貨了，歡迎評論交流啟發補充
"不要被表象所迷惑，要洞察事物的本質。" — 亞里士多德
幾年前我寫過 新手煉丹經驗總結 ，當時背景是卡多，任務小，每天要保證一定的實驗吞吐量。
這兩年雖然大家手上的卡更多了，但是實驗從原來幾張卡幾小時就能跑個效果，變成現在幾百張卡幾天看一次
於是做實驗就需要一些新的方法論
之前的方法論我總結的是：站在巨人肩膀上，注意可復現性、高效實驗、防呆實驗
在此基礎上補充討論一些：a. 找關鍵指標 b. 找真瓶頸 c. 大實驗和小實驗的關係 d. 團隊協作
我入行七年多了，現在日常訓 10B-100B 大小的語言模型，也有一些小的擴散模型、多模態模型，更大的模型只是參與一些討論

評測的重要性

論文說自己的方法效能好，一般就是定量部分，要突出關鍵指標的提升；定性部分，著重強調新的現象和觀察
在實驗過程中，關鍵指標往往不是那些你很輕易就接近 SoTA 的指標，而是那些能很明顯地區分出 SoTA 和其它方法的指標
如果指標找不好，很可能就整天造超越 GPT4 的新聞，但是永遠在追趕 OpenAI
好的指標要能客觀反映水平，還要更準確地指示模型迭代的方向
而且更值得警惕的是，當著眼於提高某個指標的時候，可能會讓它失效，失去了真正的指示能力
定性實驗，呈現結果不是噱頭和騙人，可以參考我之前寫的 《深度學習工作：從追求 SoTA 到揭示新現象》。
最近傳聞訓練 GPT5 大小的模型遇到困難，而長鏈思維 o1 / R1 大火，這都是新的現象和觀察，透過實驗破除先入為主的迷信，細心觀察模型不一樣的性質並且利用它，是導致本質提升的基礎
另一方面來說，既然一個實驗要跑好多天，為了提高成功率當然要多投時間在評測上
這裡還有很多自動化工具能加成的工作，我們內部發一個模型，會把幾十個榜都自動測了，作者也許看也許不看，我真有很多發現是偶然看別人實驗的評測結果後得到的

做價效比高的實驗

因為實驗代價提高了幾個數量級，做有意義的實驗顯得更重要
如果一天只能做一個實驗，切忌起一些價效比不高的實驗，同時疏於觀察，這都是麻醉自己的方式
寧願把卡空著，也不要無腦用垃圾實驗填充
比如大部分的超引數，如果只是輕微調整一點，很難導致實驗性質的根本改變
也有很多做大模型有監督微調的工作，沉迷於研究資料簡單配比
過微擾超引數、模型結構，人肉梯度下降，不是大模型的實驗方法
胡亂調，效能當然也會有抖動，但我們不是靠盯著抖動來做科研的
可以透過文獻閱讀，同行討論，排除那些實驗價效比不高的調參；經驗、理論足以讓我們對大部分超引數選一個不出錯的值了，我們要透過實驗證實或證偽一些更強假設，而非去網格搜尋最優引數

平衡大小實驗

因為客觀條件限制，很多時候我們只能做小實驗，但是隻有真的碰大實驗，才能知道什麼問題是值得做的
我建議：在大實驗上找問題，用小實驗篩掉錯誤想法，找有希望的上大實驗驗證
可能很多小模型的問題換大的模型自然就不存在，也許就沒有做小模型的必要；有的任務就是少引數調整學不會，全引數調整就直接能解決，那麼這些問題研究的意義就比較小
在做實驗的時候，也要清楚我們是在做一個大實驗還是小實驗？不要既要也要，實驗快必定失掉效能上限，大實驗必定反饋不夠快

團隊協作

現在的大模型實驗已經複雜到，幾個人都很難打通全流程。因此開展工作時，需要搞清楚自己的比較優勢，找自己在團隊中的定位，也要了解團隊在整個社群中的站位
比如說我沒空做細緻研究，但是我有卡，可能我就是透過讀論文找 idea，然後進行超越學術界規模的實驗進行驗證
如果我卡不夠多，我可以先做一些 idea 的簡單驗證，然後主動找卡多的人合作
在一個團隊裡，甚至可以嘗試說服別人把卡讓給自己實驗，讓別人去做更適合做的事情，或者主動把自己不擅長的事情分給別人
為了更好地團隊協作，還可以努力找一些一起觀察、記錄實驗的方式，提高交流頻率等等
技術交流群邀請函
△長按新增小助手
掃描二維碼新增小助手微信
請備註：姓名-學校/公司-研究方向
（如：小張-哈工大-對話系統）
即可申請加入自然語言處理/Pytorch等技術交流群

關於我們

MLNLP 社群是由國內外機器學習與自然語言處理學者聯合構建的民間學術社群，目前已經發展為國內外知名的機器學習與自然語言處理社群，旨在促進機器學習，自然語言處理學術界、產業界和廣大愛好者之間的進步。
社群可以為相關從業者的深造、就業及研究等方面提供開放交流平臺。歡迎大家關注和加入我們。

相關文章