黃鍇宇 投稿至 凹非寺
量子位 | 公眾號 QbitAI
一個眼神鎖定你!多模態視覺定位能力升級——
由單張影像拓展至多影像應用場景。
比如,在複雜的相簿中自動識別出Luigi並在第二張圖中找到他,或是根據鋼鐵俠劇照自動在合影中找到對應的演員唐尼。

Q:Image-1 is the photo album of someone in Image-2, please find and locate this person.
回答:(371,146),(695,812)
又或者根據第一張圖,找到第二張圖同型號黑色款的車。
Q:Where did I park my car? It is the same type shown in the first image, except it is black in color.

結果它依舊回答出來了。
The car you parked is located at the entrance of the parking garage at (500,575),(650,735).
還能挖掘不同影像之間的聯絡,實現精準定位。

來自清華NLP孫茂松團隊、北京交通大學、華中科大聯合提出了多模態視覺定位新正規化——
Migician,作為第一個支援任意形式多圖定位(Multi-image Grounding,MIG)的多模態模型,為此還設計了一個大規模訓練資料集MGrounding-630k。

多模態Grounding新正規化
多模態大模型(typo Multimodal Large Language Model)的視覺定位(Visual Grounding)任務透過接受任意形式的自然語言描述作為查詢,能夠在影像中精準定位目標物體。

當前的Grounding任務主要關注於單張影像,只能對單張影像進行目標物體的檢測與定位,這極大的限制了Grounding任務在現實生活場景中的任務。
以具身智慧場景為例,機器人需要融合多視角影像資訊進行物體識別定位以完成抓取動作;或者今天我想找我的車停哪了,這時我或許就需要一張我自己車輛的照片作為輸入查詢,在停車場的多張監控影像中進行查詢與定位;
為此,THUNLP團隊聯合北交大、華中科大提出多圖視覺定位新正規化,透過構建包含數十種任務的系統性框架,將視覺定位能力拓展至多影像應用場景。

隨著輸入影像數目的增加,相應的視覺資訊激增,豐富的語義資訊和影像內容天然地孕育了多樣化的Grounding形式和可能性。
按照是否需要明確指代目標物體,研究團隊將多圖定位任務分為Spontaneous Grounding和Referential Grounding兩種:
前者依託不同影像中天然潛在的聯絡(如影像中變化了的物體或者影像中相同的物體),讓模型自動識別並準確定位;
後者得益於多張影像帶來的形式上的擴充套件和語義資訊上的豐富,可以支援不同形式的指代描述,如Visual Reference,Textual Reference或者融合兩種模態資訊進行定位。
值得注意的是,研究團隊提出的多圖視覺定位潛在地為許多工提供了一種通用正規化,如Object Tracking, Vehicle Reidentification, Person Reidentification, Partial Graph Matching等等任務,都可以放在MLLM統一的框架中進行端到端的解決。此外,這種多圖形式內在地支援各種型別的影像,可以避免此前一些專門用於處理影像查詢(Image Query)的冗餘視覺模組設計,如VisionLLM v2, Griffon v2等,為MLLM提供一個更通用和更統一的架構。
CoT推理框架
考慮到當前的主流多模態大模型尚未具備多圖定位的能力,但是它們的通用感知與理解能力持續發展,展現出了對於長序列場景越來越強的理解能力,如多圖和長影片,且自身通常已經具備不錯的單圖Grounding能力。

於是,研究團隊首先討論了當前模型能否充分呼叫其已具備的單圖定位能力和多圖通用理解能力,以CoT(Chain-of-Thought)的多步推理方式逐步解決此問題。
具體的,原本的多圖Grounding任務可被拆解為以下兩步:
Step1 多圖理解:輸入為多張影像,模型綜合分析所有影像,得出目標物體的文字指代描述,如上圖(c)中,“上方有粉色花朵的木桶”。
Step2 單圖定位:以輪詢的方式輸入單張影像,模型利用上一步得出的結論以及自身的單圖定位能力在這些單張影像上進行視覺定位。
實驗結果表明,這種分步推理的方式確實具有一定的有效性,但是侷限性仍舊存在:
當視覺資訊過於抽象或者複雜時,文字描述難以充分反映該影像內容的全貌,如上圖中(c),原圖中有多個符合條件的木桶,簡單的指代:“上方有粉色花朵的木桶”不足以充分地指定目標物體。
當推理過程過於複雜,在各個推理步上的出錯機率也會相應增加,最終造成整個框架表現的方差較高,且總推理時長大幅增加。
下圖中更多例子進一步展現了這種CoT架構的侷限性,充分體現出了一個端到端(end-to-end)解決方案的必要性。

模型訓練與資料構建
針對於MLLM多圖定位能力的缺陷和CoT框架的侷限性,研究團隊提出了Migician,作為第一個支援任意形式多圖定位(Multi-image Grounding,MIG)的多模態模型。
為了打造一個強大的多圖視覺定位模型,研究團隊設計了一個大規模訓練資料集MGrounding-630k,包含了從現有資料集中整合改造的資料和利用模型與人工構建的高質量指令微調資料。
利用這個資料集,旨在打造一個全面的,能支援豐富任務形式的MIG任務的模型。
藉助於該資料,研究團隊基於Qwen2-VL-7B,採用了兩階段的訓練方式:
第一階段:主要採用從現有資料集中改造和設計的資料,並混入了多圖理解資料、單圖理解資料和單圖定位訓練資料。該階段旨在從零構建模型的多圖定位能力。
第二階段:主要採用高質量的MIG指令微調資料,並混入第一階段四種類型的資料以防止模型遺忘。該階段旨在進一步精細化模型的MIG能力,增強其靈活性與泛化性。

同時,為了客觀評估模型的MIG能力,研究團隊還推出了一個新的評估基準:MIG-Bench,包含10種不同任務,包含了來自人工收集的,手動拍攝的和從現有資料中改造的不同影像,共包含4000+的測試樣例和近6000張影像。
該評估基準經過精心的人工設計,校驗與篩選,充分保證了其問題正確性與整體的質量。
實驗結果

在最終的結果上,該兩階段的訓練方式和提出的MGrounding-630k資料對模型MIG能力的提升十分有效,在所有十個任務上大幅超越同規模模型以及70B規模的模型。
此外,不論是在多圖理解的評估基準還是單圖的能力評測上,模型都表現出了出色的通用能力。
在多圖基準MuirBench, MIBench和MMIU上取得SOTA效果,其單圖能力相比於此前的多圖模型也有明顯的優勢。

同時,為了深入探討專用能力與通用能力間的影響,研究團隊採用了相應的資料子集,分別訓練了不同的模型,討論了不同部分資料分別的作用,最終發現混合多圖定位資料與通用資料對最終效能的提升最大,多圖細粒度定位對於多圖通用能力確實存在一定幫助。

在傳統的單圖視覺定位上,Migician的Grounding能力也有一定的持續增益。

不同推理方式的討論
前文的CoT框架採用的是單圖輪詢推理,這種設定能較好適配原始模型的單圖視覺定位能力,但是該方式會造成很大的推理時間成本,對於N張影像輸入,要額外進行N+1次推理。那麼我們能否在多圖的語境下,直接透過prompt口頭告訴模型:“嘿!你只用看第二張圖就好啦~”,以這種方式來呼叫模型單圖定位能力和多圖理解能力,從而實現多步推理呢?
在下表中,研究團隊驗證了這種mCoT的有效性,但是其效能提升較為羸弱,普遍低於單圖輪詢CoT的效果,體現出模型原本的Grounding能力不能很好適配多圖場景。

單圖高解析度任務
最後,論文還有一個比較有趣的發現。在視覺token的長度上,多圖和高解析度單圖有很大的相似性,那麼Migician對於多圖的長token序列的處理能力能否遷移到高解析度單圖上呢?為了驗證這個想法,作者們選取了V*Bench,它關注於在高解析度圖片中對微小物體的視覺搜尋與屬性判斷。
在結果上,當Migician以零樣本泛化到該評估基準上時,便展現出了出色的效能;其次,當他們把單張高畫質影像裁為多張子圖,轉換為多圖任務時,Migician能實現進一步的效能提升,展現出了良好的泛化性。
除了前面幾個例子外,它對於多視角的考驗,也能輕鬆應對,Migician直接識別並定位出現在了每張影像裡的人,
Migician精準識別併成功定位為穿灰衣服的人,直接正確輸出他在所有照片裡的位置座標。

Image-1: (314,204),(404,552). Image-2: (698,231),(783,487). Image-3: (918,157),(999,618). Image-4: (271,273),(399,633).
最後總結,研究團隊將視覺定位(Visual Grounding)任務全面地拓展到了多張影像的場景下,得益於多張影像帶來的豐富視覺語義資訊,多圖Grounding也誕生了各種豐富多樣的可能任務形式,如目標追蹤,找不同,多視角定位等。
為了賦予當前模型解決多圖定位的能力,研究團隊首先探究了CoT的推理方式,並暴露出了這種非端到端系統的侷限性。
為此,他們進一步提出了一個大規模的訓練資料集,全面的MIG評估基準以及強大的多圖定位模型Migician,為多圖定位邁出了堅實的一步。
論文地址:
https://arxiv.org/abs/2501.05767
專案程式碼:
https://github.com/thunlp/Migician
專案頁面:
https://migician-vg.github.io/
https://arxiv.org/abs/2501.05767
專案程式碼:
https://github.com/thunlp/Migician
專案頁面:
https://migician-vg.github.io/
投稿請工作日發郵件到:
標題註明【投稿】,告訴我們:
你是誰,從哪來,投稿內容
附上論文/專案主頁連結,以及聯絡方式哦
我們會(儘量)及時回覆你

一鍵關注 👇 點亮星標
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法!