來源 | 賽爾實驗室
ACL 2025 將於2025年7月27日至8月1日在奧地利維也納舉行。ACL年會是計算語言學和自然語言處理領域最重要的頂級國際會議，CCF A類會議，由計算語言學協會主辦，每年舉辦一次。其接收的論文覆蓋了對話互動系統、語義分析、摘要生成、資訊抽取、問答系統、文字挖掘、機器翻譯、語篇語用學、情感分析和意見挖掘、社會計算等自然語言處理領域眾多研究方向。
哈爾濱工業大學社會計算與互動機器人研究中心有20篇長文被ACL 2025主會錄用，9篇長文被Findings of ACL錄用。下面是論文列表及介紹：
型別：ACL 2025, Long Paper
檢索增強生成（RAG）框架引入了一個檢索模組，以動態地將檢索到的資訊注入大型語言模型（LLMs）的輸入上下文中，並在各種自然語言處理任務中展現了顯著的成功。然而，當前的研究指出，在RAG框架中，檢索器與LLM之間存在偏好差異，這限制了系統性能的進一步提升。一些高度相關的段落可能因為包含複雜或矛盾的資訊而干擾LLM的推理；而一些間接相關甚至不準確的內容，卻可能透過提供提示資訊或邏輯線索，幫助LLM生成更準確的答案。為了解決這一問題，我們提出了GainRAG，一種新穎的方法，透過定義一個新的概念—“增益”，來衡量輸入段落在生成正確輸出方面的貢獻程度，從而對齊檢索器和LLM之間的偏好。具體來說，我們提出了一種估計這些增益訊號的方法，並訓練到一箇中間件，僅使用少量的資料即可對齊檢索器和 LLM 的偏好。此外，我們還引入了一種偽段落策略來緩解退化解。在6個數據集上的實驗結果驗證了GainRAG的有效性。
作者：王昊淳，趙森棟，王鏡博，強澤文，秦兵，劉挺
型別：ACL 2025, Long Paper
多智慧體協作已成為基於大語言模型的應用中解決複雜任務的關鍵正規化，儘管已有研究多集中於智慧體的架構設計，但對於與系統性能和效率高度相關的智慧體間細粒度的協作機制，仍缺乏深入探討。因此，本文從以下四個維度對協作策略展開分析：(1) 智慧體管理方式，(2) 參與機制，(3) 互動設定，(4) 對話歷史管理策略，並在兩個上下文依賴的任務場景中進行了實驗，以量化上述策略對多智慧體的準確率和效率的影響。實驗結果表明，不同的協同策略組合對於系統性能的影響十分明顯，在相同任務上，可帶來最高37.6%的準確率差異，此外，採用中心化管理、由中心智慧體決定的參與機制、有序的互動以及由中心智慧體歸納的上下文摘要策略可以取得決策質量與資源開銷之間的平衡。這一研究為構建具備自適應能力的多智慧體系統奠定了基礎，進一步推動多智慧體的研究重心從結構與角色設計轉向細粒度協作機制的探究。
題目：One for All: Update Parameterized Knowledge Across Multiple Models with Once Edit
大語言模型蘊含了豐富的世界知識，但由於難以持續更新，常常出現幻覺等錯誤。 知識編輯作為替代重新訓練的一種高效手段，透過更新模型的部分引數，實現對特定知識的定向修改。 然而，現有方法大多聚焦於單一模型，難以高效地擴充套件至多個模型或適應新模型，限制了其實際應用。為此，本文提出了OnceEdit，一種基於整合的全新方法。該方法引入一個外掛模型作為知識編輯模組，從而實現跨多個模型的穩定知識更新。 在模型整合的基礎上，OnceEdit設計了兩個關鍵機制以提升編輯效果：首先，我們引入了一種動態權重機制，透過新增 weight token 區分編輯相關與非相關例項，確保合理呼叫整合模型中的知識； 其次，我們提出了整合增強機制，緩解傳統整合方法中對中心模型的過度依賴，使其更加適用於知識編輯任務。在多個主流大語言模型上的實驗證明，OnceEdit在編輯效能和效率方面均顯著優於現有方法，且在多模型知識編輯場景中具有良好的適應性和穩定性。
題目：ExpeTrans: LLMs Are Experiential Transfer Learners
近期研究透過prompt為LLMs提供解決各類任務的經驗技巧，以提升其效能。然而，以往的方法依賴大量人力或時間來為每個任務收集此類經驗，鑑於使用者向 LLMs 提出的任務型別日益多樣，這些方法難以使用。為解決這一問題，我們設計了一個自主經驗遷移框架，探索 LLMs 是否能夠模仿人類的經驗遷移能力，自主地將現有源任務的經驗遷移到新遇到的目標任務上。這不僅避免了以往方法所需的大量成本，也為 LLMs 的泛化開闢了一條新途徑。在 13 個數據集上的實驗結果表明，我們的框架有效地提升了模型效能。此外，我們還對框架中的每個模組進行了詳細分析。
題目：AnRe: Analogical Replay for Temporal Knowledge Graph Forecasting
時間知識圖譜（TKGs） 在事件預測中至關重要，但現有方法存在侷限性。圖神經網路主要依賴結構資訊，往往忽視語義理解，且計算成本高。與此同時，大型語言模型（LLMs） 支援零樣本推理，但缺乏足夠的能力來掌握歷史事件發展的規律。為了應對這些挑戰，我們引入了一個無需訓練的類比回放（AnRe）推理框架。我們的方法透過語義驅動的聚類為查詢檢索相似事件，並使用雙歷史提取模組構建全面的歷史背景，該模組集成了長期和短期歷史。然後，我們利用 LLMs 生成類比推理示例作為上下文輸入，使模型能夠深入理解相似事件的歷史模式，並提高其預測未知事件的能力。在三個基準上的實驗表明，AnRe 顯著超越了傳統的訓練方法和現有的基於 LLM 的方法。進一步的消融研究也證實了雙歷史提取和類比回放機制的有效性。
題目：Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling
大型語言模型引數數量的迅猛增長，使得推理延遲成為一個關鍵瓶頸。投機解碼利用猜測並驗證的正規化來無損加速推理。一些投機解碼方法依賴額外架構來生成草稿token，這類方法在使用前需要額外訓練；而基於檢索的免訓練方法則透過預存語料庫或n-gram生成來構建候選庫，但這類方法存在儲存需求大、檢索耗時和適應性差的問題。我們觀察到，在解碼過程中生成的候選token往往會在後續序列中再次出現，基於此提出了Token Recycling。該方法將候選token儲存在鄰接矩陣中，並使用類似廣度優先搜尋（BFS）的演算法構建草稿樹，隨後透過樹注意力機制進行驗證。新生成的候選token也會用於更新鄰接矩陣。Token Recycling僅需不到2MB的額外儲存，在各類LLMs中實現了約2倍的推理加速，效能相比現有免訓練方法提升約30%，甚至超過了一種需要訓練方法25%的表現。
題目：CC-Tuning: A Cross-Lingual Connection Mechanism for Improving Joint Multilingual Supervised Fine-Tuning
當前的大語言模型 (LLM) 往往由於其以英語為中心的訓練語料庫而表現出多語言能力不平衡。為了解決這個問題，現有的資料層面微調方法（例如，透過資料增強或資料蒸餾）通常會引入隱式跨語言對齊，而忽略了更深層次的潛空間層面跨語言互動的潛力。在本研究中，我們提出了 CC-Tuning，這是一種新穎的多語言微調正規化，它明確地在潛空間層面建立了跨語言連線機制。在訓練過程中，CC-Tuning 融合了來自英語和非英語輸入的前饋啟用，使模型能夠從兩種語言資源中獲益。此過程由一個可訓練的決策器來驅動，該決策器可以幫助識別有益的啟用值。此外，在推理過程中，利用一個變換矩陣透過表徵變換來模擬單語環境下的跨語言連線。我們在涵蓋 22 種語言的六個基準測試上進行的實驗表明，CC-Tuning 的表現優於原始 SFT，並提供了一種強大的潛空間級別的資料增強方法替代方案。進一步的分析也凸顯了 CC-Tuning 的實用性，以及潛空間跨語言互動在提升 LLM 多語言效能方面的潛力。
題目：Improving Contextual Faithfulness of Large Language Models via Retrieval Heads-Induced Optimization
在檢索增強大語言模型中，確保上下文忠實性對於構建值得信賴的資訊檢索系統至關重要，尤其是在複雜的長篇問答場景中。在這本研究中，我們發現大模型的上下文忠實程度與檢索頭（retrieval heads）之間存在顯著相關性，這些檢索頭是一組專門負責檢索上下文資訊的注意力頭。基於這一發現，我們提出了RHIO框架，旨在訓練大模型顯式區分忠實與不忠實的內容，從而增強上下文忠實性。RHIO首先透過選擇性遮蔽檢索頭來生成不忠實樣本，這些樣本能有效模擬模型在實際應用中可能出現的忠實性幻覺。隨後，我們將這些樣本納入聯合訓練過程，使模型能夠在特定的控制標記引導下啟用不同的檢索注意力模式。此外，這些控制標記結合對比解碼能夠放大忠實和不忠實輸出之間的機率分佈差異，進一步提升模型忠實性。為評估上下文忠實性，我們構建了GroundBench，這是一個由五個現有的長篇問答資料集整合而成的綜合基準測試集。在GroundBench上的廣泛實驗結果表明，RHIO顯著提高了模型的忠實度表現，甚至超越了GPT-4o。
題目：Alleviating Hallucinations from Knowledge Misalignment in Large Language Models via Selective Abstention Learning
大語言模型普遍存在嚴重的事實幻覺問題。造成這一現象的的主要原因之一是預訓練階段和監督微調階段之間的知識不一致。在微調過程中遇到的知識邊界外樣本會無意中鼓勵模型生成缺乏引數知識支援的事實。為了解決這一問題，我們提出了一種帶有拒絕機制的訓練目標，其中模型透過一個特殊的 [REJ] 標記來學會選擇性地拒絕與期望知識分佈不一致的內容。這使得模型能夠承認自身知識的不足，而不是盲目地為所有真實答案分配高機率。我們進一步提出了一種正則化解碼目標，在推理過程中透過使用訓練中學習到的 [REJ] 機率來懲罰置信度低的預測。我們在六個短篇和長篇事實問答資料集上對三個不同規模的大語言模型進行了廣泛實驗，結果表明我們的方法能有效緩解由知識不一致引起的幻覺問題。進一步分析顯示，我們的方法在需要拒絕回答的場景中表現出良好的適應性，同時有效保持了模型的指令遵循能力。
題目：Length Controlled Generation for Black-box LLMs
大型語言模型 (LLM) 已展現出卓越的指令跟蹤能力，但仍難以準確管理生成文字的長度，而這正是許多實際應用的基本要求。現有的長度控制方法涉及對 LLM 的引數進行微調，這在實際應用中效率低下且效果有限。本文提出了一種用於文字長度控制的新型迭代取樣框架，該框架將 Metropolis-Hastings 演算法與重要性取樣加速策略相結合。該框架能夠高效可靠地控制 LLM 生成長度可控的文字，而無需修改底層引數，從而保留了 LLM 的原有功能。實驗結果表明，在 LLAMA3.1 上，對於長度控制的生成式摘要和長度範圍限制的指令跟蹤等任務，我們的框架實現了幾乎 100% 的長度控制成功率，並且只需要極小的額外計算開銷。這也凸顯了我們的方法在更廣泛的應用中實現精確長度控制的巨大潛力。
題目：CLAIM: Mitigating Multilingual Object Hallucination in Large Vision-Language Models with Cross-Lingual Attention Intervention
大型視覺語言模型雖展現出卓越的多模態能力，卻普遍存在多語言物體幻覺問題——當使用非英語查詢時，相比英語更容易生成與視覺輸入不一致的回答。現有解決方案多依賴預訓練或微調方法，這些方法資源消耗巨大。本文透過觀察不同語言間跨模態注意力模式的差異，提出一種無需訓練的創新方法CLAIM（跨語言注意力干預），透過注意力模式對齊來緩解多語言物體幻覺。CLAIM首先識別語言特定的跨模態注意力頭，然後估算從英語到目標語言的注意力偏移向量，最終在推理階段干預注意力輸出以實現跨語言視覺感知能力對齊。大量實驗表明，CLAIM在多種語言上均取得顯著提升——在POPE基準測試中平均提升13.56%（西班牙語最高達30%），在MME基準的幻覺子集上平均提升21.75%。 進一步分析發現，多語言注意力分歧主要出現在中間層，這些層在多語言場景中起著關鍵作用。
題目：Com2: A Causal-Guided Benchmark for Exploring Complex Commonsense Reasoning in Large Language Models
大語言模型（LLMs）透過預訓練已掌握大量簡單顯式的常識知識，使其在基礎常識推理任務中能實現接近人類的表現。然而，面對由簡單常識衍生出的複雜隱性常識（例如理解特定事件的長期影響這類人類更關注的深層推理），LLMs仍存在顯著不足。現有研究主要聚焦數學、程式設計等複雜任務，卻忽視了複雜常識場景的探索。為填補這一空白並契合人類關切，我們提出首個專注於複雜常識推理的基準測試Com2。我們首先引入因果事件圖譜作為複雜常識的知識載體，繼而運用因果理論（如干預手段）對圖譜進行修改，生成符合人類關切的不同情境。隨後透過慢思考機制，指導LLMs基於修改後因果圖譜的邏輯關係合成測試樣本。此外，我們還構建了以偵探故事為載體的高階複雜子集。實驗表明，當前LLMs在推理深度與廣度上存在明顯侷限，而後訓練與慢思考策略能有效緩解這一問題。
題目：Supervised Fine-Tuning Achieve Rapid Task Adaption Via Alternating Attention Head Activation Patterns
LLM 在複雜任務上的表現還不盡人意。一個關鍵問題是，目前的 LLM 是在資料驅動的模式下學習的，而關於這些複雜任務的指令既稀缺又難以收集或構建。相反，一個突出的現象是，如果在預訓練階段獲取了足夠的先驗知識，LLM 可以在比較簡單的任務上學得相當快。因此，如果能闡明這種快速泛化的前提和機制，就可以提高 LLM 學習複雜任務的效率和效果。因此，在本文中，我們採用基於梯度的方法，從注意模式的角度剖析 SFT 過程使 LLM 適應下游任務的過程。我們發現：（1）LLM 在 SFT 期間選擇性地啟用特定於任務的注意力頭；（2）複雜任務的啟用模式是基本任務模式的組合； (3) 一些引數的變化會顯著影響少量樣本 SFT 後的啟用模式。基於這些見解，我們進行了實驗以真正提高 SFT 的效率和有效性。
題目：Beyond Similarity: A Gradient-based Graph Method for Instruction Tuning Data Selection
大型語言模型 (LLM) 因其透過指令調整實現泛化的能力，在各行各業展現出巨大的潛力。然而，特定領域資料的有限性嚴重製約了它們在特定任務上的表現。現有方法主要側重於從與目標領域相似的通用資料集中篩選訓練資料，但往往忽略了指令的聯合分佈，導致學習效率低下和知識遷移不理想。為了應對這些挑戰，我們提出了G2IS（基於梯度的圖指令選舉），這是一種構建基於混合梯度的指令圖的新方法，它能夠捕捉指令間的聯合分佈和相互依賴關係。透過考慮指令之間的關係，G2IS 提高了領域自適應效率。此外，我們提出了一種梯度遊走演算法來改進資料選擇過程，從而同時提升訓練效果和效率。我們的實驗表明，G2IS 在各種領域自適應任務中均優於傳統方法，尤其是在複雜、資料稀缺的場景下，效能顯著提升。這些結果凸顯了 G2IS 在推動大型特定領域模型開發方面的潛力。
題目：Making LLMs Better Many-to-Many Speech-to-Text Translators with Curriculum Learning
多模態大語言模型（MLLMs）在語音到文字翻譯（S2TT）任務中取得了顯著成功。然而現有研究主要集中於以英語為中心的翻譯方向，但多語言互譯的探索仍受限於平行語料資料的稀缺性。為此，我們提出了一種三階段課程學習策略：透過利用大語言模型的機器翻譯能力並將其適配至S2TT任務，實現在低資源環境下的高效學習。我們訓練了不同引數量級（3B/7B/32B）的MLLMs，並基於FLEURS和CoVoST-2資料集驗證該策略。實驗結果表明，所提策略在15×14種語言對中實現了當前最優的平均效能，且每種語言僅需不足10小時的語音資料即可獲得具有競爭力的結果。
題目：Investigating and Enhancing the Robustness of Large Multimodal Models Against Temporal Inconsistency
大型多模態模型 (LMM) 近期在通用影片理解基準測試中展現出令人矚目的效能。然而，對於更廣泛的應用而言，其時間分析能力的魯棒性亟待深入研究，而這卻往往被忽視。基於此，我們提出了一個全新的時間魯棒性基準測試 (TemRobBench)，分別在視覺和文字模態上引入時間不一致性擾動來評估模型的魯棒性。我們評估了 16 個主流 LMM，發現它們在對抗環境中過度依賴先驗知識和文字上下文，而忽略了影片中實際的時間動態。為了緩解這個問題，我們設計了全景直接偏好訓練方法 (PanoDPO)，鼓勵 LMM 同時融合視覺和語言特徵偏好。實驗結果表明，PanoDPO 可以有效提升模型在時間分析中的魯棒性和可靠性。
題目：Ontology-Guided Reverse Thinking Makes Large Language Models Stronger on Knowledge Graph Question Answering
大型語言模型（LLMs）在自然語言處理領域中展現出了卓越的能力。然而，在知識圖譜問答（KGQA）任務中，仍然存在需要多跳推理的問題。現有方法通常依賴於實體向量匹配，但由於問題的目的往往較為抽象，難以與具體實體進行有效匹配，導致難以建立通往目的的推理路徑，從而引發資訊丟失和冗餘。為了解決這一問題，我們受人類逆向思維啟發，提出了一種新的框架——本體指導的逆向思維方法（Ontology-Guided Reverse Thinking, 簡稱 ORT）。ORT 包括三個關鍵階段：（1）利用 LLM 提取目的標籤和條件標籤；（2）基於知識圖譜本體構建逆向標籤推理路徑；（3）利用標籤推理路徑指導知識檢索。在 WebQSP 和 CWQ 資料集上的實驗表明，ORT 實現了當前最優的效能，並顯著提升了 LLM 在知識圖譜問答任務中的能力。
題目：EffiVLM-Bench: A Comprehensive Benchmark for Evaluating Training-Free Acceleration in Large Visual-Languge Models
大規模視覺語言模型（LVLMs）已取得顯著成功，然而其巨大的計算需求阻礙了實際部署。儘管提升LVLM效率的研究日益增多，但現有方法往往缺乏在多樣化模型架構、基準測試和效能指標上的全面評估。在這項工作中，我們系統地評估了主流的LVLM加速技術，並將其歸類為token縮和引數壓縮。我們引入了EFFIVLM-BENCH，這是一個統一的框架，旨在不僅評估模型的絕對效能，還評估其泛化能力和忠誠度，同時探索帕累托最優的權衡。我們廣泛的實驗和深入分析為LVLM的加速策略提供見解。
題目：MPO: Multilingual Safety Alignment via Reward Gap Optimization
大語言模型（LLMs）在全球範圍內的人工智慧應用中日益佔據核心地位，這對其在多語言環境中的安全對齊提出了更高要求，以確保在不同語言背景下的安全部署。現有用於安全對齊的偏好學習方法（如RLHF和DPO）主要是單語的，在處理噪聲較大的多語言資料時表現不佳。為克服這些侷限，我們提出了一種新方法：多語言獎勵差距最佳化（Multilingual reward gap Optimization, MPO），該方法利用主導語言（例如英語）已具備的良好安全對齊能力，提升其他語言的安全對齊效果。MPO透過直接最小化主導語言與目標語言之間的獎勵差距，有效遷移安全能力，同時保持主導語言的原有優勢。在LLaMA-3.1、Gemma-2和Qwen2.5這三種大型語言模型上的廣泛實驗證明，MPO在不降低整體多語言能力的前提下，顯著提升了多語言的安全對齊效果。
角色扮演使大語言模型（LLMs）能夠與使用者進行沉浸式且個性化的互動，但同時也帶來了顯著的安全風險。現有的角色扮演微調技術雖然提升了模型的角色適應能力，但可能會削弱其安全性表現，尤其是在“反派”類角色中更為明顯。在本研究中，我們首次對角色扮演微調帶來的安全風險進行了系統評估，基於RoleBench訓練了95個特定角色的LLM模型。實驗表明，角色扮演微調普遍導致模型安全性下降，且這一風險程度會因角色特徵而異。為應對這一挑戰，我們提出了一種新的方法：安全感知角色扮演微調（SaRFT），旨在在增強角色扮演能力的同時保障模型安全性。我們在LLaMA-3-8B-Instruct、Gemma-2-9B-it和Qwen2.5-7B-Instruct等模型上進行了大量實驗，結果顯示，無論是在LoRA還是全引數微調設定下，SaRFT都在效能上優於現有的先進基線方法。我們的研究結果凸顯了在角色扮演模型中引入安全自適應機制的必要性，併為緩解角色特定的安全風險提供了新的思路。
進化指令作為一種經典資料合成方法，在多個領域取得了顯著的進展。現有方法通常依賴於一組固定的演化策略，這些策略需要人工設計，且形式單一。此外，迭代式演化也使得獲取高難度樣本的成本變得昂貴。鑑於此，我們提出了 Tag-Evol 框架，一種更加多樣化且高效的指令演化方法。具體來說，Tag-Evol 使用多樣且具體的知識標籤作為策略，透過將不同組合的標籤注入原始指令中，實現可控的演化。在數學和程式碼領域的多個基準測試中，使用不同基礎模型進行的實驗表明，該方法所生成的演化資料顯著優於其他方法。此外，我們還對演化資料進行了深入分析，結果表明 Tag-Evol 不僅效率高，還能生成更具多樣性和挑戰性的樣本。
蘊含樹在問答任務中對於提升模型的可解釋性與透明性具有重要意義。然而，現有的蘊含樹生成方法在推理過程中往往缺乏邏輯一致性。為此，本文提出將自然邏輯規則融入強化學習框架，透過動態獎勵計算機制，引導蘊含樹的構建。該方法不僅提升了推理過程的邏輯一致性，還增強了整體的可解釋性與泛化能力。在EntailmentBank資料集上的實驗結果表明，所提的方法在效能上顯著優於已有方法，充分展現了自然邏輯在結構化推理任務中的應用潛力。
儘管大型語言模型（LLMs）表現出了顯著的推理能力，但在知識密集型的多跳推理中仍然面臨挑戰。最近的研究探索了迭代檢索以解決複雜問題。然而，缺乏中間指導往往導致不準確的檢索和中間推理錯誤，從而導致錯誤的推理。為了應對這些問題，我們提出了自我批評引導的迭代推理（SiGIR），該方法利用自我批評反饋來指導迭代推理過程。具體而言，透過端到端的訓練，我們使模型能夠透過問題分解迭代解決複雜問題，同時能夠自我評估其中間推理步驟。在迭代推理過程中，模型進行分支探索，並利用自我評估來指導有前景的推理軌跡的選擇。在三個多跳推理資料集上進行的大量實驗證明了我們提出的方法的有效性，超越了之前的最先進技術（SOTA）8.6%。此外，我們的深入分析為未來的研究提供了見解。
儘管大型語言模型（LLMs）在釋出時實現了有效的安全對齊，但它們仍然面臨各種安全挑戰。一個關鍵問題是微調通常會損害 LLM 的安全對齊。為了解決這個問題，我們提出了一種名為 IRR (Identify, Remove, and Recalibrate for Safety Realignment)的方法，用於對 LLM 執行安全重新對齊。IRR 的核心是從微調模型中識別和刪除不安全的 delta 引數，同時重新校準保留的 delta 引數。我們評估了 IRR 在各種資料集中的有效性，包括完全微調和 LoRA 微調。實驗結果表明，IRR 顯著提高了微調模型在多個安全基準（如有害查詢和越獄攻擊）上的安全效能，同時保持了它們在下游任務上的效能，取得了帕累託改進。
具備指令遵循能力的大語言模型（LLMs）展現了卓越的問題解決能力，而從無監督文字中獲取用於訓練此類模型的指令資料是一個常見選擇。然而，完成該過程的傳統方法依賴於大量的人工標註，現有自動化合成方法雖突破了這一限制，但在合成指令的多樣性和挑戰性方面仍存在明顯不足。基於此，本文提出Self-Foveate——一種利用LLM進行指令合成的創新方法。該方法透過“微觀-分散-宏觀”多級聚焦機制，有效地利用LLM深度挖掘無監督文字中蘊含的細粒度資訊，從而提升了合成指令的多樣性與挑戰性。透過在綜合多個無監督文字集和不同模型上的實驗驗證，本方法的有效性與優越性得到充分證明。
為了應對現實場景中的複雜任務，研究人員將目光投向了全模態多模態模型（Omni-MLLM），旨在實現全模態理解和生成。Omni-MLLM 突破了特定非語言模態的限制，將各種非語言模態對映到大語言模型（LLM）的嵌入空間，並支援在單個模型中實現任意模態組合的互動和理解。本文系統地梳理了相關研究，並對 Omni-MLLM 進行了全面的綜述。具體而言，我們首先闡述了 Omni-MLLM 的四個核心元件，並對其進行了細緻的分類，以期構建統一的多模態建模模型，從而提供新穎的視角。然後我們介紹了透過兩階段訓練實現的有效整合，並討論了相應的資料集和評估方法。此外，我們總結了當前 Omni-MLLM 面臨的主要挑戰，並展望了未來的發展方向。希望本文能夠為初學者提供入門指導，並促進相關研究的進步。
OpenAI的O1和 DeepSeek R1 的釋出極大地推進了LLM複雜推理的研究。本文從自進化的角度系統分析了已有的推理研究，並將其分為資料進化、模型進化和自進化三個部分。資料進化探索生成高質量推理訓練資料的方法。模型進化側重於訓練策略以提高推理能力。自進化研究透過資料的迭代迴圈和模型的進化來實現自主系統的進化。我們進一步討論了自進化的scaling law，並透過這個視角分析了具有代表性的推理大模型工作。透過總結先進的方法和概述未來的方向，本文旨在推動LLM推理能力的研究。
隨著全球對多語言大模型（LLMs）需求的不斷增長，當前大多數LLM仍然過於側重英語，導致非英語使用者在獲取先進人工智慧服務方面受到限制。現有提升多語言能力的方法主要依賴於資料驅動的後訓練技術，例如多語言指令微調或持續預訓練。然而，這些方法存在諸多侷限，包括高昂的資源消耗、語言一致率下降，以及對核心語言能力的災難性遺忘。為此，我們提出了一種新方法Lens，透過利用LLM內部的語言表示空間，提升其多語言能力。Lens在兩個子空間上發揮作用：在語言無關子空間中，它將目標語言與核心語言對齊，從而繼承強大的語義表示能力；在語言特定子空間中，它區分目標語言與核心語言，以保留語言的特異性。我們在三種以英語為中心的LLM上進行實驗，結果表明Lens在顯著提升多語言效能的同時，保持了模型的英語能力，並且相比現有的後訓練方法具有更低的計算成本和更優的效果。
學術領域問答是一項重要的任務，旨在根據論文回答問題。然而，當前學術問答的資料集推理型別有限，並且忽略了表格和文字之間的相關性，這與真實場景存在顯著差距。為了應對這些挑戰，我們提出了一個針對科學表格和文字的問答基準SCITAT，其中包含多種推理型別。為了涵蓋更多推理型別，我們總結了來自真實世界問題的各種推理型別。為了對錶格和文字進行推理，我們要求問題儘可能地結合表格和文字。基於SCITAT，我們提出了一個基線方法CAR，該方法結合了各種推理方法來處理不同的推理型別，並同時處理表格和文字。CAR在SCITAT上相比其他基線平均提升了4.1%，驗證了其有效性。錯誤分析揭示了SCITAT的挑戰，例如複雜的數值計算和需要專業的領域知識。
編輯：李子健
哈爾濱工業大學社會計算與互動機器人研究中心
理解語言，認知社會
以中文技術，助民族復興
技術交流群邀請函
△長按新增小助手
掃描二維碼新增小助手微信
請備註：姓名-學校/公司-研究方向
（如：小張-哈工大-對話系統）
即可申請加入自然語言處理/Pytorch等技術交流群
關於我們
MLNLP 社群是由國內外機器學習與自然語言處理學者聯合構建的民間學術社群，目前已經發展為國內外知名的機器學習與自然語言處理社群，旨在促進機器學習，自然語言處理學術界、產業界和廣大愛好者之間的進步。
社群可以為相關從業者的深造、就業及研究等方面提供開放交流平臺。歡迎大家關注和加入我們。
掃描二維碼新增小助手微信
關於我們