騰訊混元團隊提出MM-IQ：多模態大模型推理評估新基準

隨著多模態大模型（Large Multimodal Models, LMMs）的快速發展，其在語言、視覺等多領域展現出強大的理解能力。然而，近期 o1, R1, o3-mini 等推理模型的出現不禁使人好奇：最先進的 LMMs 是否也和 R1 一樣具備類似人類的推理能力？

為了回答這一問題，騰訊 Hunyuan 團隊提出了一個新的多模態推理基準測試框架——MM-IQ，旨在系統地評估多模態模型的抽象推理和邏輯思維能力。

論文標題：

MM-IQ: Benchmarking Human-Like Abstraction and Reasoning in Multimodal Models

論文地址：

https://arxiv.org/pdf/2502.00698

程式碼倉庫：

https://github.com/AceCHQ/MMIQ/tree/main/

專案主頁：

https://acechq.github.io/MMIQ-benchmark/

資料集地址：

https://huggingface.co/datasets/huanqia/MM-IQ

效果展示

▲ 圖1.1：多模態模型以及人類在 MM-IQ 基準測試中的表現

▲ 圖1.2: MM-IQ 的 8 類推理問題示例

研究背景

在人類認知能力的評估中，智商測試（IQ Test）一直被視為衡量抽象推理能力的重要工具。它透過剝離語言背景、語言能力和特定領域知識，專注於評估人類的核心認知能力。然而，目前在人工智慧領域，尤其是在多模態系統中，缺乏一個能夠系統量化這些關鍵認知維度的基準。

現有的多模態模型雖然在 OCR、目標定位和醫學影像分析等特定任務上表現出色，但這些任務的評估指標無法全面衡量多模態系統的核心推理能力。為了解決這一問題，騰訊 Hunyuan 團隊從人類 IQ 測試中汲取靈感，提出了 MM-IQ 基準，旨在透過語言和知識無關的評估，系統地衡量多模態模型的抽象推理能力。

MM-IQ 基準介紹

MM-IQ 基準包含 2,710 個精心策劃的測試專案，涵蓋了 8 種不同的推理正規化，包括邏輯運算、數學推理、二維幾何、三維幾何、空間關係、時間運動、視覺指令和具體物件。這些正規化不僅涵蓋了多模態模型需要掌握的核心推理能力，還透過多樣化的題目配置，全面考察多模態系統的認知水平。

2.1 資料集構建

MM-IQ 的資料收集過程分為三個階段。首先，團隊從中國國家公務員考試的公開題目中篩選出適合的題目，這些題目原本用於評估考生的抽象和推理能力，因此非常適合用於多模態模型的推理能力測試。其次，團隊對這些題目進行了分類，並對題目較少的推理正規化進行針對性補充，以確保每個推理正規化都有足夠的樣本。最後，透過去重和答案提取等步驟，確保資料集的準確性和有效性。

2.2 推理正規化

MM-IQ 的 8 種推理正規化如下：

邏輯運算：涉及邏輯運算子（如 AND、OR、XOR）的應用，需要模型識別圖形中的邏輯規則。
數學推理：評估模型對數量、數字和算術運算的推理能力。
二維幾何：涵蓋對二維幾何圖形屬性的理解和圖形拼接能力。
三維幾何：評估模型對三維幾何圖形的理解，包括多面體的檢視識別和立體圖形的截面識別。
空間關係：考察物體之間的靜態相對位置關係。
時間運動：關注物體的位置變化，包括平移、旋轉和翻轉。
視覺指令：透過視覺提示（如箭頭）引導模型解決問題。
具體物件：涉及對現實世界物體（如花瓶、葉子、動物）的分類。

實驗結果

騰訊 Hunyuan 團隊對多種開源和閉源的多模態大模型進行了評估，包括 Deepseek-vl-7b-chat、Qwen2-VL-72B-Instruct、QVQ-72B-Preview和 GPT-4o 等。結果顯示，即使是效能最好的模型，其準確率也僅為 27.49%，僅略高於隨機猜測的基線水平（25%），而人類的平均準確率則高達 51.27%。

3.1 模型表現

開源模型：LLaVA-1.6-7B 的準確率為 19.45%，Deepseek-vl-7b-chat 為 22.17%，Qwen2-VL-72B-Instruct 為 26.38%，QVQ-72B-Preview為 26.94%。
閉源模型：GPT-4o 的準確率為 26.87%，Gemini-1.5-Pro-002 為 26.86%，Claude-3.5-Sonnet 為 27.49%。