微軟推出CoRAG:透過迭代推理提升AI檢索能力

作者 | Robert Krzaczyński
翻譯審校 | InfoQ 編輯部
微軟人工智慧團隊與中國人民大學合作,推出了 CoRAG(檢索增強生成鏈 Chain-of-Retrieval Augmented Generation),這是一種全新的人工智慧框架,旨在最佳化檢索增強生成(Retrieval-Augmented Generation,RAG)模型。與傳統 RAG 系統僅依賴單次檢索不同,CoRAG 支援迭代搜尋和推理,使得人工智慧模型在生成答案前能夠動態最佳化檢索結果。
這一改進彌補了傳統 RAG 系統的重大缺陷:傳統 RAG 系統難以有效整合多源資訊。在處理複雜查詢,尤其是多跳問答(QA)時,傳統 RAG 模型往往力不從心,因為它們僅檢索一次資訊,這就導致結果不完整或不準確。CoRAG 則透過在每一步重新構建查詢來改變這一現狀,使人工智慧能夠像人類研究人員一樣“深入思考”檢索過程。
CoRAG 的核心創新在於其動態查詢重構機制。該模型不再依賴單次檢索,而是根據中間推理狀態迭代最佳化查詢。這一過程確保了每個階段檢索到的資訊都與上下文相關,進而逐步構建出更完整的最終答案。
為了能在無需大量昂貴的人工標註的情況下訓練 CoRAG,研究人員採用了 拒絕取樣技術(Rejection Sampling),即從現有的 RAG 資料集中生成合理的檢索鏈。模型在這些增強資料集上進行訓練,學習生成子查詢、子答案和最終答案。
在推理階段,CoRAG 提供了多種靈活的解碼策略,比如:
  • 為提高效率的貪心解碼;
  • 為最佳化準確性的 N 選 1 取樣;
  • 為平衡計算成本和效能的樹搜尋。
這種可擴充套件性使使用者能夠控制檢索深度,在準確性和計算效率之間實現最佳平衡。
圖注:來源:https://arxiv.org/abs/2501.14342
CoRAG 在 KILT 基準測試和多跳問答任務上進行了測試,與現有的 RAG 模型相比,其效果得到了提升。在需要從多個來源檢索和整合資訊的任務中,該方法尤為有效。
圖注:KILT 基準測試結果,來源:https://arxiv.org/abs/2501.14342
圖注:多跳問答任務基準測試結果,來源:https://arxiv.org/abs/2501.14342
人工智慧領域已經注意到了 CoRAG 的潛在影響力。Durapid Technologies 的創始人兼執行長迪普什·賈恩(Deepesh Jain)評價道:> “這是 RAG 向前邁出的一大步!傳統方法常常遺漏關鍵細節,而 CoRAG 的迭代方法讓檢索更智慧、更具動態性。讓模型像人類一樣最佳化搜尋,有望為複雜查詢提供更好的答案。”
此外,Velotix 的高階機器學習工程師葉卡捷琳娜·巴魯(Ekaterina Baru)強調了該方法與人類研究方法的相似之處:> “這是一種引人入勝的方法——利用迭代檢索最佳化查詢,真實地反映了研究人員深入探究問題的過程。它在多跳問答任務上的效能提升令人印象深刻,我很好奇在實際應用中,更長的檢索鏈和計算成本之間的平衡將如何發展。期待看到它的後續進展!”
從靜態檢索轉向迭代方法,CoRAG 開創了一種全新的人工智慧搜尋和推理處理方式。這在自動研究、企業知識系統以及人工智慧輔助決策等領域具有重要價值,因為在這些領域中,獲取準確且結構化的資訊至關重要。
關於作者
Robert Krzaczyński,Robert Krzaczyński 是一名專注於微軟技術的軟體工程師。日常工作中,他主要使用.NET 進行軟體開發,但他的興趣遠不止於此。除了核心專業技能外,他對機器學習和人工智慧有著濃厚的興趣,並不斷在這些前沿領域拓展自己的知識。他擁有控制工程與機器人學的工程學學士學位以及計算機科學的工程學碩士學位。
原文連結:
https://www.infoq.com/news/2025/02/corag-microsoft-ai/
本文由 InfoQ 獨家翻譯,未經授權不得轉載。
今日好文推薦

相關文章