讓大模型讀懂善用知識庫!清華等團隊推出UltraRAG框架全家桶

作者 | OpenBMB 開源社群
RAG 系統的搭建與最佳化是一項龐大且複雜的系統工程,通常需要兼顧測試製定、檢索調優、模型調優等關鍵環節,繁瑣的工作流程往往讓人無從下手。
近日,針對以上痛點,清華大學 THUNLP 團隊聯合東北大學 NEUIR 、面壁智慧及 9#AISoft 團隊共同推出了 UltraRAG 框架,該框架革新了傳統 RAG 系統的開發與配置方式,極大降低了學習成本和開發週期。UltraRAG 不僅具備滿足專業使用者需求的“單反相機”級精細化配置能力,同時也提供類似“卡片機”的一鍵式便捷操作,讓 RAG 系統的構建變得極簡且高效
更重要的是,相比傳統 RAG 系統,UltraRAG 支援自動化地將模型適配到使用者提供的知識庫,有效避免了在“模型選型”時的反覆糾結;同時,其 模組化設計 又能為科研需求快速賦能,幫助研究者在多種場景下自由組合、快速迭代。透過 UltraRAG,使用者可以輕鬆完成從資料到模型的全流程管理,不論是要開展深度科研探索,還是進行快速業務落地,都能“隨心所欲,得心應手”。
Github 地址:
https://github.com/OpenBMB/UltraRAG
零程式碼程式設計 WebUI 支援
UltraRAG 以其極簡的 WebUI 作為核心優勢之一,即便是無程式設計經驗的使用者,也能輕鬆完成 模型的構建、訓練與評測。無論是快速開展實驗,還是進行個性化定製,UltraRAG 均能提供直觀且高效的支援。該框架集成了多種預設工作流,使用者可根據具體需求靈活選擇最優路徑,無需編寫繁瑣程式碼,即可完成從資料處理到模型最佳化的全流程操作。
以下是操作演示:
合成與微調一鍵式解決
UltraRAG 以自研的 KBAlignDDR 等方法為核心,提供一鍵式系統化資料構建,結合檢索與生成模型的多樣化微調策略,助力效能全面最佳化。在資料構造方面,UltraRAG 覆蓋從檢索模型生成模型的全流程資料構建方案,支援基於使用者匯入的知識庫自動生成訓練資料,顯著提升場景問答的效果與適配效率。在模型微調方面,UltraRAG 提供了完備的訓練指令碼,支援 Embedding 模型訓練及 LLM 的 DPO/SFT 微調,幫助使用者基於資料構建更強大、更精準的模型。
多維多階段穩健式評估
UltraRAG 以自研的 UltraRAG-Eval 方法為核心,融合針對有效與關鍵資訊的多階段評估策略,顯著提升模型評估的穩健性,覆蓋從檢索模型生成模型的多維評估指標,支援從整體到各環節的全面評估,確保模型各項效能指標在實際應用中得到充分驗證。透過關鍵資訊點錨定,UltraRAG 有效增強評估的穩定性與可靠性,同時提供精準反饋,助力開發者持續最佳化模型與方法,進一步提升系統的穩健性與實用性。
科研友好探索工作整合
UltraRAG 內建 THUNLP-RAG 組自研方法及其他前沿 RAG 技術,支援整個模組化的持續探索與研發。UltraRAG 不僅是一個技術框架,更是科研人員與開發者的得力助手,助力使用者在多種任務場景中高效尋優。隨著功能的不斷完善與升級,UltraRAG 將在更廣泛的領域和應用場景中發揮關鍵作用,持續拓展 RAG 技術的應用邊界,推動從學術研究到商業應用的全面發展。其 簡潔、高效、靈活且易於上手 的特性,使 RAG 框架的部署與應用更加便捷,顯著降低科研與專案開發的技術複雜度,幫助使用者專注於創新與實踐。
UltraRAG 內建探索技術系列
UltraRAG 系列引入多項創新技術,優化了檢索增強生成中的知識適配、任務適應和資料處理,提升了系統的智慧性和高效性。
  • UltraRAG-KBAlign: 提升大語言模型自適應知識庫的能力,最佳化知識檢索與推理過程。2.4B 模型透過自標註達到 GPT-4o 的標註效能,並在多個實驗中超越 GPT-4o 本身。
  • UltraRAG-Embedding: 出色的中英文檢索能力,支援長文字與稀疏檢索。效能超過 bge-m3 10%。
  • UltraRAG-Vis:提出了純視覺的 RAG Pipeline,透過引入 VLMs 對文件進行編碼,避免了文件解析造成的資訊丟失,相比傳統 Text RAG Pipeline,部分任務在端到端效能上提升 25-39%。
  • UltraRAG-Adaptive-Note:透過動態記憶管理和資訊收集,提升複雜問答任務中的解答質量。在 GPT-3.5-turbo、Llama3-8B、Qwen2-7B 等多個前沿模型上實驗表明,自適應地動態記憶管理和資訊收集策略相較基礎檢索增強生成模型可實現 3%~13.9% 的效能提升,並且尤其擅長處理具有複雜資訊檢索需求的問題。
  • UltraRAG-DDR:基於可微調資料獎勵 (DDR) 最佳化檢索增強生成,提升任務特定場景的系統性能。在 MiniCPM-2.4B、Llama3-8B 等多個前沿模型上實驗表明,DDR 最佳化策略相較原始檢索增強生成模型可實現 7% 以上效能提升。
  • UltraRAG-Eval:針對 RAG 場景設計的高效評測方案。透過少量種子文件,快速自動生成專業領域的 RAG 評測資料,並提供穩健的模型驅動評測指標與方法。
UltraRAG 各方法在國內外 AI 社群中享有一定的影響力和知名度,例如部分模型擁有三十萬次下載量,有的曾在領域內頂尖機構受邀進行學術報告,還有的曾位居中文模型下載量榜首。
參考文獻
https://arxiv.org/abs/2410.13509
Li, Xinze, Mei, Sen, Liu, Zhenghao, Yan, Yukun, Wang, Shuo, Yu, Shi, Zeng, Zheni, Chen, Hao, Yu, Ge, Liu, Zhiyuan, et al. (2024).RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards. arXiv preprint arXiv:2410.13509.
https://arxiv.org/abs/2410.10594
Yu, Shi, Tang, Chaoyue, Xu, Bokai, Cui, Junbo, Ran, Junhao, Yan, Yukun, Liu, Zhenghao, Wang, Shuo, Han, Xu, Liu, Zhiyuan, et al. (2024).Visrag: Vision-based Retrieval-Augmented Generation on Multi-Modality Documents. arXiv preprint arXiv:2410.10594.
https://arxiv.org/abs/2410.08821
Wang, Ruobing, Zha, Daren, Yu, Shi, Zhao, Qingfei, Chen, Yuxuan, Wang, Yixuan, Wang, Shuo, Yan, Yukun, Liu, Zhenghao, Han, Xu, et al. (2024).Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation. arXiv preprint arXiv:2410.08821.
https://arxiv.org/abs/2411.14790
Zeng, Zheni, Chen, Yuxuan, Yu, Shi, Yan, Yukun, Liu, Zhenghao, Wang, Shuo, Han, Xu, Liu, Zhiyuan, Sun, Maosong. (2024).KBAlign: Efficient Self Adaptation on Specific Knowledge Bases. arXiv preprint arXiv:2411.14790.
https://arxiv.org/abs/2408.01262
Zhu, K., Luo, Y., Xu, D., Wang, R., Yu, S., Wang, S., Yan, Y., Liu, Z., Han, X., Liu, Z., & others. (2024). Rageval: Scenario specific rag evaluation dataset generation framework.arXiv preprint arXiv:2408.01262.
參考資訊
前後的對比,隱私安全,舉一個例子;傳統方式 VS UltraRAG;
  • 本地一鍵部署!你最佳的知識庫管理助手
  • 任何資料(舉例),法律、個人資訊、學科老師,上傳資料、調優、即可為你解答
  • 快速復現各種方法,為科研賦能
會議推薦
在 AI 大模型技術如洶湧浪潮席捲軟體開發領域的當下,變革與機遇交織,挑戰與突破共生。2025 年 4 月 10 – 12 日,QCon 全球軟體開發大會將在北京召開,以 “智慧融合,引領未來” 為年度主題,匯聚各領域的技術先行者以及創新實踐者,為行業發展撥雲見日。現在報名可以享受 8 折優惠,單張門票立省 1360 元,詳情可聯絡票務經理 18514549229 諮詢。
你也「在看」嗎?👇

相關文章