智源BGE-VL拍照提問即可精準搜，1/70資料擊穿多模態檢索天花板！

編輯：編輯部 HYZ

【新智元導讀】智源聯手多所頂尖高校釋出的多模態向量模型BGE-VL，重塑了AI檢索領域的遊戲規則。它憑藉獨創的MegaPairs合成數據技術，在圖文檢索、組合影像檢索等多項任務中，橫掃各大基準重新整理SOTA。

BGE系列模型自發布以來廣受社群好評。

近日，智源研究院聯合多所高校開發了多模態向量模型BGE-VL，進一步擴充了原有生態體系。BGE-VL在圖文檢索、組合影像檢索等主要多模態檢索任務中均取得了最佳效果。

BGE-VL藉助大規模合成數據MegaPairs訓練而成。這一設計具備以下兩大核心優勢:

優異的可擴充套件性：MegaPairs 結合多模態表徵模型、多模態大模型和大語言模型，在海量圖文語料庫中高效挖掘多模態三元組資料。其演算法能夠以極低成本持續生成多樣化且高質量的多模態三元組。本次釋出的版本涵蓋 2600 萬條樣本，為多模態檢索模型的訓練提供了大規模、高價值的資料支援。
卓越的資料質量：相較於傳統多模態資料，MegaPairs 僅需 1/70 的資料量即可實現更優的訓練效果。利用該合成數據，智源訓練了多模態檢索模型 BGE-VL，顯著提升了多個主流多模態檢索基準的效能。

BGE-VL的技術報告已釋出，相關資料、模型及程式碼資源將陸續向社群全面開放。

論文地址：https://arxiv.org/abs/2412.14475

專案主頁：https://github.com/VectorSpaceLab/MegaPairs

模型地址：https://huggingface.co/BAAI/BGE-VL-MLLM-S1

研究背景

在大模型時代，資訊檢索需要滿足人們日益多樣化的需求，這種需求不僅體現在使用者的多模態查詢輸入上，也體現在對多模態資訊的需求上。例如，使用者可能拍攝一張汽車外觀圖，並希望獲取該款汽車的指定資訊。

在這種情況下，多模態檢索器需要綜合理解使用者的影像和文字指令，並從多種模態的資訊中檢索出最相關的內容。

然而，現有的多模態檢索模型通常基於單一形式的跨模態配對資料（如影像-文字對）進行訓練，這使得它們難以處理複雜的組合模態輸入。

近年來，指令微調技術在文字檢索和大語言模型等領域已經證明了其增強多工能力的有效性。然而，以往的多模態檢索指令資料集大多依賴人工標註，限制了大規模多樣化資料的獲取。

為解決這一限制，智源BGE團隊創新性地提出了MegaPairs資料合成方法。該方法透過從現有大規模影像資料集中挖掘多樣的關聯影像對，並利用開源多模態大模型和大語言模型進行自動化指令生成，從而構建出高質量、可擴充套件、泛化性強的多模態檢索指令微調資料集。

團隊基於MegaPairs的高質量資料，訓練並開源多模態向量模型BGE-VL系列，實現了當前最佳的多模態檢索能力。

MegaPairs構造

MegaPairs提出從現有大規模圖文語料庫中挖掘並構造大規模、高質量多模態檢索指令資料集。

具體地，MegaPairs的構造主要分為兩個關鍵步驟：

以下圖為例：

首先，MegaPairs會從大規模影像資料集中取樣一對影像-文字資料作為查詢資料。
然後，利用多種影像和文字相似度模型，挖掘出多組關聯影像對（例如：同款汽車的外飾與內飾、同款汽車不同塗裝、同品牌汽車未來概念圖等）。
接著，針對這些挖掘出的影像對，MegaPairs採用兩階段標註方法：首先使用多模態大語言模型（MLLM）總結兩張圖片之間的關聯關係，然後使用大語言模型（LLM）撰寫最終的開放域檢索指令。

值得注意的是，MegaPairs完全基於開源資料集和開源模型進行自動化構建和標註。透過引入多個相似度模型和兩階段標註方法，MegaPairs能夠在無需人工參與的情況下，擴充套件性地生成大規模、高質量且多樣化的多模態檢索指令資料集。