1. R-Drop：兩次前向+KL loss約束
2. MLM: 在領域語料上用mlm進一步預訓練 (Post-training)
3. EFL: 少樣本下，把分類問題轉為匹配問題，把輸入構造為NSP任務形式.
4. 混合精度fp16: 加快訓練速度，提高訓練精度
5. 多卡ddp訓練的時候，用到梯度累積時，可以使用no_sync減少不必要的梯度同步，加快速度
6. 對於驗證集或者測試集特別大的情況，可以嘗試多卡inference，需要用的就是dist.all_gather，對於非張量的話也可以用all_gather_object
7. PET: 少樣本下，把分類轉為mask位置預測，並構造verbalizer，參考EACL2021. PET
8. ArcFaceLoss：雙塔句子匹配的loss把NT-Xent loss改成arccos的形式，參考ACL2022. ArcCSE
9. 資料增強在zero shot x-lingual transfer：code switch，machine translation..記得最後加一致性loss，參考consistency regularization for cross lingual finetuning
10. SimCSE：繼續在領域語料上做simcse的預訓練
11. Focal loss: 不平衡的處理
12. 雙塔遲互動：maxsim操作：query和doc的每個token表徵算相似度，取最大相似度再求和。速度和精度都有一個很好的平衡，參考colbert
13. 持續學習減輕遺忘：EWC方法+一個很強的預訓練模型效果很不錯。就是加一個正則讓重要引數遺忘不太多，重要性用fisher資訊度量。
14. 對抗訓練：FGM，PGD，能提點，就是訓練慢，
15. memory bank增大bsz，雖然我感覺有時候有點雞肋
16. PolyLoss: -logpt + eps * (1-pt) 效果存疑，反正我試了沒啥效果，有人試過效果不錯

關於我們