社群是國內外知名的機器學習與自然語言處理社群，受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。
近日，國際人工智慧學術會議ICLR 2025論文接收結果公佈，中國人民大學高瓴人工智慧學院師生有36篇論文被錄用。ICLR，全稱為「International Conference on Learning Representations」（國際學習表徵會議），被認為是深度學習領域的頂級國際會議之一。ICLR 2025年會議將於4月24日至28日在新加坡舉行，展示人工智慧與深度學習領域的最新進展和突破性研究。
論文介紹
論文題目：PINP: Physics-Informed Neural Predictor with latent estimation of fluid flows
作者：陳華冠，劉揚，孫浩
通訊作者：孫浩
論文概述：準確預測流體動力學和演化一直是物理科學領域的一項長期挑戰。傳統的深度學習方法通常依賴神經網路的非線性建模能力來建立過去和未來狀態之間的對映，忽略了流體動力學，或者只對速度場建模，忽略了多個物理量的耦合。在本文中，我們提出了一種新的物理資訊學習方法，將耦合物理量納入預測過程，以協助預測。我們方法的核心在於將物理方程離散化，並將其直接整合到模型架構和損失函式中。這種整合使模型能夠提供穩健、長期的未來預測。透過整合物理方程，我們的模型展示了時間外推和空間泛化能力。實驗結果表明，我們的方法在2D與3D的數值模擬以及現實世界極端降水預報基準的時空預測方面都達到了最先進的水平。
論文簡介
論文題目：MMRole: A Comprehensive Framework for Developing and Evaluating Multimodal Role-Playing Agents
論文作者：代彥琪，胡煥然，王磊，金聖傑，陳旭，盧志武
通訊作者：陳旭，盧志武
論文概述：現有的角色扮演智慧體主要侷限於文字模態，無法模擬人類的多模態感知能力。因此，我們引入了多模態角色扮演智慧體（Multimodal Role-Playing Agents, MRPAs）的概念，並提出了一套全面的框架 MMRole 用於其開發和評估。該框架包含一個大規模、高質量的個性化資料集和一種穩健的自動化評測方法。基於此，我們開發了首個專門的多模態角色扮演智慧體 MMRole-Agent。廣泛的評測結果顯示，MMRole-Agent 在該領域的效能顯著提升，並揭示了開發 MRPAs 時所面臨的關鍵挑戰，主要包括多模態理解能力和角色扮演一致性。資料、模型和程式碼均已開源：https://github.com/YanqiDai/MMRole
論文介紹
論文題目：NPTI: Neuron based Personality Trait Induction in Large Language Models
作者：鄧佳, 唐天一, 尹彥彬, 楊文昊, 趙鑫, 文繼榮
通訊作者：趙鑫
論文概述：本文提出了一種基於神經元的方法，用於在大型語言模型中引導人格特徵，並做出了三項主要技術貢獻。首先，我們構建了PERSONALITYBENCH，一個用於識別和評估LLMs中人格特徵的大規模資料集。該資料集基於心理學中的五大人格特徵，旨在評估LLMs在展現特定人格特徵方面的生成能力。其次，透過利用PERSONALITYBENCH，我們提出了一種高效的方法，透過考察給定特徵的相反方面，識別LLMs中與人格相關的神經元。第三，我們開發了一種簡單而有效的引導方法，透過操作這些識別出的與人格相關的神經元的值，從而實現對LLMs所展現特徵的細粒度控制，而無需訓練和修改模型引數。大量實驗驗證了我們神經元識別和特徵引導方法的有效性。值得注意的是，我們的方法在效能上與微調模型相當，提供了一個更加高效且靈活的解決方案，用於在LLMs中引導人格特徵。
論文介紹
論文題目：Exploring the Design Space of Visual Context Representation in Video MLLMs
作者：都一凡*，霍宇琦*，周昆*，趙子嘉，盧浩宇，黃翰，趙鑫，王炳寧，陳煒鵬，文繼榮
通訊作者：趙鑫，王炳寧
論文概述：影片多模態大模型（Video MLLM）在各種影片理解的下游任務中表現出了卓越的能力，但目前仍然缺乏對視覺上下文表示的系統研究。視覺上下文由取樣的幀以及幀中的視覺token組成。在本文中，我們探索了視覺上下文表示的設計空間，旨在透過尋找更有效的表示方案來提高Video MLLM 的效能。首先，我們將視覺上下文表示建模為一個約束最佳化問題，並在給定最大視覺上下文視窗大小的情況下，將語言模型的損失建模為幀數和每幀token數的函式。然後，我們分別探索幀數和token數的scaling效應，並透過定量的實驗擬合相應的函式曲線。我們驗證了各種幀和token表示策略的有效性，並給出了確定這兩個因素的最佳結果。此外，我們研究了幀數和token數的權衡，並推匯出這兩個因素的最優解，以及驗證了理論上的最優解與實驗的最佳結果一致。
論文介紹
論文題目：WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models
作者：樊昇達*，從鑫*，傅嶽朋，張眾，張抒雁，劉遠巍，吳葉賽，林衍凱，劉知遠，孫茂松
通訊作者：從鑫，林衍凱
論文概述：近年來，大型語言模型（LLMs）的最新進展推動了流程自動化從機器人流程自動化（RPA）到代理過程自動化（APA）的革命性正規化轉變，透過基於LLMs的工作流編排過程實現自動化。然而，現有的LLMs（即便是先進的OpenAI GPT-4o）在工作流編排能力上仍存在一定侷限。為了解決這一限制，我們提出了WorkflowLLM，一個以資料為中心的框架，精心設計以增強LLMs在工作流編排中的能力。該框架首先構建了一個大規模的微調資料集——WorkflowBench，該資料集包含106,763個樣本，覆蓋83個應用中的1,503個API，涵蓋28個類別。具體而言，構建過程可分為三個階段：（1）資料收集：我們從Apple Shortcuts和RoutineHub收集現實世界的工作流資料，並將其轉錄為Python風格的程式碼。接著，我們透過GPT-4o-mini生成層次化思維來進一步強化這些資料。（2）查詢擴充套件：我們透過提示GPT-4o-mini生成更多工查詢，以豐富工作流的多樣性和複雜性。（3）工作流生成：我們利用在收集到的資料上訓練的註釋模型為合成查詢生成工作流。最終，我們將透過質量確認的合成樣本與收集樣本合併，得到WorkflowBench資料集。基於WorkflowBench資料集，我們對Llama-3.1-8B進行微調，得到WorkflowLlama。實驗結果表明，WorkflowLlama在編排複雜工作流方面表現出強大的能力，同時在先前未見過的API上也展現了顯著的泛化效能。此外，WorkflowBench在一個分佈外任務規劃資料集T-Eval上也表現出了強大的zero-shot泛化能力。
論文介紹
論文題目：Learning Unified Static-Dynamic Representation across Multiple Visuo-tactile Sensors
作者：馮若軒，胡江宇，夏文科，高天賜，申傲，孫宇昊，方斌，胡迪
通訊作者：胡迪
論文概述：視觸覺感測器旨在模擬人類的觸覺感知，使機器人能夠精確地理解並操縱物體。隨著時間的推移，許多精心設計的視觸覺感測器已被整合到機器人系統中，幫助機器人完成各種任務。然而，這些低標準化的視觸覺感測器的獨有資料特性阻礙了強大觸覺感知系統的建立。我們認為，解決這一問題的關鍵在於學習統一的多感測器表徵，從而整合不同的感測器並促進它們之間的觸覺知識遷移。為了獲得這種統一的表徵，我們提出了TacQuad，一個對齊的多模態多感測器觸覺資料集，採集自四種不同的視觸覺感測器，可以顯式地整合各種感測器。考慮到人類透過獲取不同的觸覺資訊（如紋理和壓力變化）來感知物理環境，我們進一步提出從靜態和動態兩個角度學習統一的多感測器表徵。透過整合觸覺影像和影片，我們提出了UltraTouch，一個具有多層級結構的，統一的靜態-動態多感測器表徵學習框架，旨在增強全面的觸覺感知能力並實現有效的跨感測器遷移。該多層級框架透過掩碼建模從觸覺資料中捕捉畫素級細節，並透過多模態對齊和跨感測器匹配學習語義級的感測器無關特徵，從而增強感知和遷移能力。我們對多感測器的遷移能力進行了全面分析，並在各種離線資料集以及真實世界的傾倒任務中驗證了我們的方法。實驗結果表明，我們的方法優於現有方法，展現了卓越的靜態和動態感知能力，並適用於多種感測器。
論文介紹
論文題目：Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training: A Reverse-Bottleneck Perspective
作者：甘澤宇，劉勇
通訊作者：劉勇
論文概述：在大語言模型（LLMs）的後訓練任務中，合成數據由於高質量、專業性真實資料的稀缺而成為關鍵資源。儘管已有多種方法被提出用於生成合成資料，但合成數據在實際應用中的理論研究仍存在欠缺。為填補這一空白，本文首先詳細建模了當前廣泛應用的合成數據生成過程。在此基礎上，本文從一個新穎的逆資訊瓶頸視角分析，證明了後訓練模型的泛化能力關鍵取決於用於生成合成資料的生成模型所帶來的資訊增益。此外，本文引入了基於互資訊的泛化增益（Generalization Gain via Mutual Information, GGMI）概念，闡明瞭泛化增益與資訊增益之間的關係。該分析不僅為合成數據生成提供了理論基礎，還進一步揭示了其與後訓練模型泛化能力之間的內在聯絡，從而為合成數據生成技術的設計和後訓練過程的最佳化提供了深刻的理解和指導。
論文介紹
論文題目：Towards Auto-Regressive Next-Token Prediction: In-Context Learning Emerges from Generalization
作者：龔子瑄，胡嘯林，唐華懿，劉勇
通訊作者：劉勇
論文概述：大語言模型 (LLMs) 已展現出了卓越的上下文學習 (ICL) 能力。然而，現有的 ICL 理論分析主要存在兩個侷限：(a) 受限於獨立同分佈設定。大多研究聚焦於有監督的函式學習任務，所構建的提示由獨立同分布的輸入-標籤對組成。該假設與現實的語言學習大相徑庭，在更真實的場景下，提示詞是相互依賴生成的。(b) 缺乏對湧現現象的闡釋。大多數文獻從隱式最佳化的視角回答了 ICL 的運作機制，但未能闡明 ICL 如何湧現以及預訓練階段對 ICL 的影響。在本文中，為突破侷限 (a)，我們考慮了更實際的語言模型訓練正規化——自迴歸下一個詞預測 (AR-NTP)。具體地，在 AR-NTP 正規化下，我們突出提示詞之間的依賴性，即根據字首序列自迴歸預測後續的詞。針對問題 (b)，我們構建了系統的預訓練與 ICL 框架，強調序列和主題的分層結構以及兩級期望。總體而言，我們提供了資料、主題及最佳化過程相關的 PAC -Bayesian 泛化界，研究發現 ICL 能力恰源自序列和主題層面的泛化。所提理論在數值線性動態系統、合成數據 GINC 以及真實世界的語言資料集實驗中均得到了有效驗證。
論文介紹
論文題目：Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment
作者：蔣錦昊*, 李軍毅*, 趙鑫, 宋洋, 張濤, 文繼榮
通訊作者：趙鑫
論文概述：將大型語言模型（LLMs）適應特定領域通常需要特定領域的語料庫進行持續預訓練，以促進知識記憶，並需要相關的微調指令來應用這些知識。然而，這種方法可能由於在持續預訓練期間缺乏對知識利用的意識而導致知識記憶效率低下，並且要求 LLMs 在微調期間同時學習知識利用和格式對齊，這具有不同的訓練目標。為了增強 LLMs 的領域適應性，我們修改了這個過程，並提出了一個新的領域適應框架，包括領域知識學習和一般格式對齊，稱為 “Mix-CPT”。具體來說，我們首先進行知識混合持續預訓練，同時關注知識記憶和利用。為了避免災難性遺忘，我們進一步提出了一個對數交換自蒸餾約束。透過利用在持續預訓練期間獲得的知識和能力，我們然後有效地進行指令調整，並與一些一般訓練樣本進行對齊，以實現格式對齊。大量實驗表明，我們提出的 “Mix-CPT” 框架可以同時提高 LLMs 在目標領域和一般領域的任務解決能力。
論文介紹
論文題目：Size-Generalizable RNA Structure Evaluation by Exploring Hierarchical Geometries
作者：李宗釗，岑嘉誠，黃文炳，王太峰，宋樂
通訊作者：黃文炳
論文概述：理解RNA的三維結構對於解析其生物學功能及開發RNA靶向治療藥物至關重要。近年來，基於SE(3)-等變性的幾何圖神經網路（GeoGNNs）在RNA結構評估方面取得重要進展，為RNA結構預測奠定基礎。然而，現有GeoGNNs仍存在兩大侷限：1）在RNA幾何特徵提取方面存在效率低下或表徵不完整的問題；2）當訓練集與測試集的RNA分子尺寸差異顯著時，模型泛化能力受限。本研究提出EquiRNA，一種透過探索RNA的三級層次幾何結構的新型等變GNN模型。該模型的核心創新在於：透過複用核苷酸（RNA分子的通用結構單元）的表示特徵，有效解決了分子尺寸泛化難題；同時採用基於標量化的等變GNN架構，在保持方向資訊完整性的前提下顯著提升計算效率。此外，我們創新性地提出尺寸不敏感的k近鄰取樣策略，進一步增強模型對RNA分子尺寸泛化的魯棒性。透過在自建基準資料集和現有資料集上的系統性驗證，本方法較現有最優模型展現出顯著效能優勢，為RNA三維結構建模和評估提供了強大的基線。
論文介紹
論文題目：DenoiseVAE: Learning Molecule-Adaptive Noise Distributions for Denoising-based 3D Molecular Pre-training
作者：劉語柔，陳嘉浩，矯瑞，李江夢，黃文炳，蘇冰
通訊作者：蘇冰，黃文炳
論文概述：去噪學習方法透過對三維分子的平衡構象施加噪聲，並預測這些噪聲以恢復平衡構象，從而學習分子的表示，這本質上捕捉了分子力場的資訊。由於不同分子的勢能面不同，不同分子中每個原子的物理合理噪聲的機率是不同的。然而，現有的方法對所有分子均採用共享的啟發式手工噪聲取樣策略，導致力場學習不準確。在本文中，我們提出了一種新穎的三維分子預訓練方法，即去噪變分自編碼器（DenoiseVAE）。該方法使用噪聲生成器為不同分子獲取原子特定的噪聲分佈，並利用隨機重引數化技術從生成的分佈中取樣含噪聲的構象，這些含噪聲的構象被輸入到去噪模組中進行去噪處理。噪聲生成器和去噪模組以變分自編碼器正規化的方式聯合學習。因此，取樣的含噪聲構象可以更加多樣化、適應性強且資訊豐富，從而使得去噪變分自編碼器能夠學習到更好地揭示分子力場的表示。大量實驗表明，去噪變分自編碼器在各種分子性質預測任務上優於當前最先進的方法，證明了其有效性。
論文介紹
論文題目：Scaling up Masked Diffusion Models on Text
作者：聶燊，朱峰琪，杜超，龐天宇，劉乾，曾廣韜，林敏, 李崇軒
通訊作者：李崇軒
論文概述：掩碼擴散模型（MDMs）在語言建模中展現出了潛力，但其在核心語言任務（如文字生成和語言理解）中的可擴充套件性和有效性仍未得到充分探索。本文首次建立了MDMs的擴充套件規律，展示了其與自迴歸模型（ARMs）相當的擴充套件速率以及相對較小的計算差距。基於其可擴充套件性，我們訓練了一系列引數高達11億（1.1B）的MDMs，系統性地評估了它們與規模相當或更大的ARMs的效能。充分利用MDMs的機率公式，我們提出了一種簡單而有效的無監督無分類器引導方法，有效利用大規模無配對資料，提升了條件推理的效能。在語言理解方面，1.1B的MDM在八個零樣本基準測試中的四個上優於在相同資料上訓練的1.1B TinyLlama模型。值得注意的是，它在GSM8K資料集上實現了與7B Llama-2模型相競爭的數學推理能力。在文字生成方面，與使用KV快取的ARMs相比，MDMs提供了更靈活的權衡：MDMs在效能上與ARMs相當，同時速度提高了1.4倍，或在更高的計算成本下實現了比ARMs更高的質量。此外，MDMs透過有效處理雙向推理和適應資料的時間變化，解決了ARMs面臨的挑戰性任務。值得注意的是，1.1B的MDM打破了比其大得多的ARMs（如13B Llama-2和175B GPT-3）在更多資料和計算下遇到的反向詛咒。
論文介紹
論文題目：Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data
作者：歐競陽，聶燊，薛凱文，朱峰琪，孫嘉城，李震國，李崇軒
通訊作者：李崇軒
論文概述：基於吸收過程的離散擴散模型在語言建模中展現出了潛力。其關鍵估計量是所有時間步下兩個轉移狀態之間的邊際機率比，稱為具體分數。本文揭示了吸收擴散中的具體分數可以表示為乾淨資料的條件機率，乘以一個具有解析形式的時間依賴標量。基於這一發現，我們提出了重引數化吸收離散擴散（RADD），這是一種無需時間條件的專用擴散模型，用於表徵時間無關的條件機率。除了其簡潔性外，RADD還透過在取樣區間內噪聲樣本保持不變時快取時間無關網路的輸出，減少了函式評估次數（NFEs）。實驗表明，RADD在效能與最強基線相當的情況下，速度提升了最多3.5倍。基於條件分佈的新視角，我們進一步統一了吸收離散擴散和任意階自迴歸模型（AO-ARMs），表明擴散模型的負對數似然上界可以解釋為AO-ARMs的期望負對數似然。此外，我們的RADD模型在GPT-2規模的5個零樣本語言建模基準測試（以困惑度衡量）中，取得了擴散模型中的最先進（SOTA）效能。
論文介紹
論文題目：Leveraging Discrete Structural Information for Molecule-Text Modeling
作者：裴啟智，吳酈軍，高開元，祝金華，嚴睿
通訊作者：吳酈軍，嚴睿
論文概述：分子和自然語言表徵的整合已成為分子科學的焦點，語言模型的最新進展顯示出對這兩個領域進行全面建模的巨大潛力。然而，現有的方法面臨著明顯的侷限性，特別是它們忽略了3D 資訊的建模，而這些資訊對於理解分子結構和功能至關重要。我們提出了3D-MolT5，這是一個統一的框架，旨在在序列和 3D 結構空間中建模分子。我們方法的關鍵創新在於將細粒度的 3D 子結構表示對映到專門的 3D 標記詞彙表中。這種方法有助於以標記格式無縫整合序列和結構表示，使 3D-MolT5 能夠在統一的架構中編碼分子序列、分子結構和文字序列。利用這種標記化輸入策略，我們構建了一個統一序列和結構資料格式的基礎模型。然後，我們進行聯合預訓練，使用多工目標來增強模型對共享表示空間內這些不同模態的理解。因此，我們的方法顯著改善了跨模態互動和對齊，解決了之前工作中的關鍵挑戰。進一步的指令調整表明，我們的 3D-MolT5 具有強大的泛化能力，並且在多個下游任務中以優異的效能超越現有方法。
論文介紹
論文題目：From Exploration to Mastery: Enabling LLMs to Master Tools via Self-Driven Interactions
作者：渠常樂，戴孫浩，魏驍馳，蔡恆毅，王帥強，殷大偉，徐君，文繼榮
通訊作者：徐君
論文概述：工具學習使大語言模型（LLMs）可以透過呼叫工具來與外部環境進行互動，從而有效緩解其預訓練資料所固有的侷限性。在此過程中，工具文件透過為LLM提供使用說明起著至關重要的作用，從而促進了有效的工具利用率。本文聚焦於 LLMs 與外部工具之間理解差距的關鍵挑戰，這種差距源於現有以人為中心的工具文件中的不足與不準確之處。我們提出了一個新穎的框架DRAFT，透過分析 LLMs 與外部工具互動過程中產生的反饋和軌跡來動態最佳化工具文件。該方法以創新性的試錯策略為核心，包括三個獨立的學習階段：經驗收集、從經驗中學習和文件重寫，以迭代方式提升工具文件質量。此外，我們引入了一種促進多樣性的探索策略，以保證探索的多樣性，並設計了一種工具自適應的終止機制，以防止過擬合併提高效率。我們在多個數據集上的廣泛實驗表明，DRAFT 透過迭代的、基於反饋的最佳化策略，顯著提升了工具文件的質量，從而增強了 LLMs 對工具的理解和使用效果。值得注意的是，我們的分析進一步揭示，經過 DRAFT 最佳化的工具文件在跨模型泛化能力方面表現出色。
論文介紹
論文題目：Policy-aware Reward Modeling with Uncertainty-Gradient based Data Augmentation
作者：孫澤旭，郭一駒，林衍凱，陳旭，祁琦，唐興，何秀強，文繼榮
通訊作者：陳旭
論文概述：基於人類反饋的強化學習已成為訓練大型語言模型以符合人類偏好的標準且有效的方法。在此框架下，透過學習獎勵模型來近似人類偏好，並以此指導策略最佳化，因此開發準確的獎勵模型至關重要。然而，在缺乏“真實”獎勵函式的情況下，當獎勵模型作為人類偏好的不完美代理時，會出現諸多挑戰。尤其是策略最佳化過程會不斷改變人類偏好訓練資料集的分佈，而固定獎勵模型會因分佈外問題而受到影響，尤其是對於線上策略、方法。雖然收集新的偏好資料可以緩解這一問題，但成本高昂且最佳化難度較大。因此，重新利用策略互動樣本成為進一步最佳化獎勵模型的可能途徑。為應對這些挑戰，本文提出了一種新的方法——不確定性梯度資料增強（Uncertainty-Gradient based Data Augmentation，UGDA），透過利用策略樣本維持在分佈效能，從而增強獎勵建模。具體而言，UGDA基於獎勵整合的不確定性和策略最佳化的梯度影響來選擇互動樣本。在對選定樣本進行獎勵重新標記後，利用監督學習來最佳化獎勵整合，進而獲得重新訓練的策略。大量實驗表明，藉助UGDA在無需成本高昂的人類偏好資料收集的情況下選擇少量樣本，能夠提升策略的能力，並超越現有最先進的方法。
論文簡介
論文題目：ReDeEP: Detecting Hallucination in Retrieval-Augmented Generation via Mechanistic Interpretability
作者：孫忠祥，臧曉雪，鄭凱，Yang Song，徐君，張驍，俞蔚捷，李晗
通訊作者：徐君
論文概述：檢索增強生成（RAG）模型旨在結合外部知識，以減少由於引數（內部）知識不足引起的幻覺。然而，即便在檢索到準確且相關的內容時，RAG 模型仍可能產生幻覺，表現為生成與檢索資訊衝突的輸出。檢測此類幻覺需要理清大語言模型（LLM）如何利用外部知識和引數知識。目前的檢測方法往往聚焦於其中一種機制，或未能解耦其相互交織的影響，這使得準確檢測變得困難。本文研究了 RAG 場景中幻覺產生的內在機制。我們發現，當 LLM 中的知識 FFN 在殘差流中過度強調引數知識，而複製頭未能有效保持或整合來自檢索內容的外部知識時，幻覺便會發生。基於這些發現，我們提出了 ReDeEP，一種透過解耦 LLM 對外部上下文和引數知識的利用來檢測幻覺的創新方法。實驗結果表明，ReDeEP 顯著提高了 RAG 幻覺檢測的準確性。此外，我們還提出了 AARF，透過調節知識 FFN 和複製頭的貢獻，緩解了幻覺問題。
論文地址: https://arxiv.org/pdf/2410.11414
論文介紹
論文題目：Think Then React: Towards Better Action-to-Reaction Motion Generation
作者：譚文輝，李博遠，金楚浩，黃文炳，王希廷，宋睿華
通訊作者：宋睿華
論文概述：人類動作生成技術在虛擬現實、遊戲等領域有著廣泛的應用。儘管目前單人動作生成領域成果顯著，然而在多人動作生成領域，由於根據一人動作直接預測另一人相應反應動作的複雜性以及統一多人動作表示方式的缺失，人類反應動作預測任務仍然未被很好的解決。針對這些挑戰，我們首先採用了類思維鏈的方式，讓模型“先思考，後反應”，有效提升了預測動作的精確度和語義匹配度。為了將可思考的大語言模型適配至多人動作場景、統一編碼多人動作，我們提出解耦空間-動作分詞器，並且設計了一套針對性的預訓練任務。我們透過大量實驗在目前最大人類互動動作資料集Inter-X上證明了方法與設計的有效性，將FID從3.988改進至1.942。
論文介紹
論文題目：ADePT: Adaptive Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning
作者：唐鵬威，胡嘯林，劉勇
通訊作者：劉勇
論文概述：提示微調（Prompt Tuning, PT）透過最佳化少量軟虛擬tokens——這些token被預置於輸入token嵌入之前——使預訓練大語言模型（Pre-trained Large Language Models, PLMs）能夠適配下游任務。近期，分解式提示微調（Decomposed Prompt Tuning, DePT）透過將soft prompt分解為一個更短的soft prompt和一對低秩矩陣（low-rank matrices），展現了更卓越的適配能力。這對低秩矩陣的乘積被新增到輸入token嵌入中以對它們施加偏置。此外，由於soft prompt更短，DePT的推理速度比PT更快。然而，本文發現DePT基於位置的token嵌入偏置（position-based offsets）限制了其在多樣化模型輸入上的泛化能力，且多個token嵌入共享的偏置會導致欠最佳化。為解決這些問題，我們提出了自適應分解式提示微調（Adaptive Decomposed Prompt Tuning, ADePT），其由一個短soft prompt和一個淺層token共享前饋神經網路（token-shared feed-forward neural network）組成。ADePT利用該神經網路為每個token學習嵌入偏置，從而生成自適應嵌入偏置（adaptive offsets），這些偏置能根據模型輸入動態調整，並且ADePT還能夠最佳化對token嵌入偏置的學習。與原始PT及其變體相比，ADePT在無需額外推理時間或可訓練引數的情況下實現了更優的下游任務適配效能。在23項自然語言處理（NLP）任務和4種不同規模的經典PLM的實驗中，ADePT一致優於主流的引數高效微調（Parameter-Efficient Fine-Tuning, PEFT）方法，甚至在部分場景中超越了全量微調（full fine-tuning）基線。我們還為ADePT方法提出了一種理論解釋。
論文簡介
論文題目：Perplexity Trap: PLM-Based Retrievers Overrate Low Perplexity Documents
作者：王浩喻*， 戴孫浩*，趙海源，龐亮，張驍，王剛，董振華，徐君，文繼榮
通訊作者：徐君
論文概述：以往的研究發現，基於預訓練語言模型（PLM）的檢索模型對大語言模型（LLMs）生成的內容表現出偏好：儘管人工智慧生成文件的語義與人類撰寫的文件幾乎相同，檢索模型也會賦予它們更高的相關性分數。這種被稱為源偏差的現象威脅了網際網路生態的可持續發展，但其引發原因仍未得到充分探索。我們提出一個因果圖解釋框架來描述資訊檢索的過程，發現基於 PLM 的檢索器因果性地賦予perplexity低的文件更高的分數，從而引發源偏差。理論分析進一步表明，源偏差的潛在原因是語言建模任務和檢索任務的損失函式梯度存在相關性。在上述分析的基礎上，我們提出了一種受因果啟發的推理時間糾偏方法，稱為因果診斷校正（CDC）。CDC 首先估計困惑度特徵帶來的偏差大小，然後將偏差效應從相關性分數中剝離。實驗結果表明，CDC在不同資料集和不同LLMs上均具有卓越的糾偏效果，反映了所提解釋框架的有效性。
論文介紹
論文題目：Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning
作者：王曉磊*，湯昕宇*，李軍毅，趙鑫，文繼榮
通訊作者：趙鑫
論文概述：上下文學習（ICL）的出現可能歸因於兩種主要能力：從示例中識別任務並利用預訓練先驗的任務識別（TR）和從示例中學習的任務學習（TL）。然而，這兩種能力之間的關係以及這種關係如何影響ICL的出現尚不清楚。在本文中，我們首先研究了ICL在預訓練過程中的變化情況。透過精心設計的指標，我們發現TR和TL在預訓練期間實際上是存在競爭的。此外，我們觀察到競爭與ICL效能之間存在負相關關係。對常見預訓練因素（即模型大小、資料集大小和資料課程）的進一步分析揭示了管理競爭的潛在方案。基於上述分析，我們提出了一種簡單而有效的方法，在推理時更好地整合ICL的這兩種能力（TR & TL）。透過自適應整合學習，ICL的效能可以顯著提高，使兩個小模型的效能優於引數大於兩者之和的大模型，實現1+1>2的奇效！
論文介紹
論文題目：Bridging Jensen Gap for Max-Min Group Fairness Optimization in Recommendation
作者：徐晨，李雨欣，王文傑，龐亮，徐君，Tat-Seng Chua
通訊作者：徐君
論文概述：組間最大最小公平性（Group Max-Min Fairness, MMF）常被用作公平推薦系統（RS）中的最佳化目標，因為它旨在保護邊緣化的物品組，並確保一個公平競爭的平臺。然而，我們的理論分析表明，在最佳化過程中引入MMF約束會違反樣本獨立性的假設，導致損失函式偏離線性加性特性。這種非線性特性在採用小批次取樣時會引入模型收斂點與最優點之間的Jensen gap。理論和實證研究均表明，隨著小批次大小的減少和組規模的增加，Jensen gap會相應擴大。一些基於啟發式重加權或去偏策略的方法有潛力彌合Jensen gap，但這些方法要麼缺乏理論保證，要麼計算成本過高。為克服這些限制，我們首先理論上證明了MMF約束目標本質上可以重新表述為一個組加權最佳化目標。隨後，我們提出了一種高效且有效的演算法，名為FairDual，該演算法利用對偶最佳化技術最小化Jensen差距。理論分析表明，FairDual能夠以次線性收斂率逼近全域性最優解，並在隨機洗牌的小批次取樣策略下很好地約束Jensen gap差距。在三個公開資料集上的六種大規模推薦系統基礎模型的廣泛實驗表明，FairDual在準確性和公平性方面均優於所有基線方法。
論文介紹
論文題目：Super(ficial)-alignment: Strong Models May Deceive Weak Models in Weak-to-Strong Generalization
作者：楊文愷，沈世奇，沈光耀，姚巍，劉勇，龔治，林衍凱，文繼榮
通訊作者：林衍凱
論文概述：超級對齊，即人類作為超人類智慧模型的弱監督者對齊模型，已隨著大語言模型的快速發展成為一個關鍵問題。最近的研究透過使用弱模型監督強模型的方式初步探討了這一問題，並發現弱監督下的強學生能夠在對齊目標上持續超越弱教師，從而出現了一種弱至強泛化現象。然而，我們關心在這種看似有前景的現象背後，是否存在弱到強欺騙的問題：強模型可能透過在弱模型已知領域表現出良好的對齊行為，而在弱模型未知的情況下表現出不對齊的行為，從而欺騙弱模型。我們在單目標對齊和多目標對齊（例如，有用性與無害性之間的衝突）上的實驗發現：(1) 弱到強欺騙現象確實存在；(2) 隨著弱教師和強學生之間能力差距的擴大，這種欺騙現象會愈發嚴重，這是一個不好的訊號；(3) 使用中間模型進行過渡可以在一定程度上緩解這種欺騙，但其效果依然有限。本研究突出了超級對齊技術可靠性上潛在的問題，考慮到我們現在正在加速接近 AGI 時代，找到未來能夠完全控制超人類模型的可信賴對齊技術迫在眉睫。
論文介紹
論文題目：Regulatory DNA Sequence Design with Reinforcement Learning
作者：楊釗，蘇冰，曹川，文繼榮
通訊作者：蘇冰，曹川
論文概述：順式調控元件(CREs)，如啟動子和增強子，是一類相對較短的DNA序列，可以直接調控特定基因的表達。CREs的適應度，即其增強基因表達的功能，高度依賴於其核苷酸序列，特別是一些特殊基序的組成，這些基序被稱為轉錄因子結合位點(TFBSs)。設計CREs以最佳化其適應度對治療和生物工程應用至關重要。現有的CRE設計方法通常依賴於簡單的策略，如透過預訓練的基因表達預測模型（即oracle）從大量候選序列中迭代引入隨機突變並選擇高適應度的變體。由於巨大的搜尋空間和缺乏先驗生物學知識的指導，這些方法容易陷入區域性最優，並傾向於產生多樣性較低的CREs。在本文中，我們提出了第一個利用強化學習(RL)來微調預訓練的自迴歸(AR)生成模型的方法，用於設計高適應度的細胞型別特異性CREs，同時保持序列多樣性。我們將CRE調控機制的先驗知識納入RL過程，透過整合TFBSs的作用來指導最佳化。透過這種方式，我們的方法鼓勵去除抑制子基序並新增啟用基序。 我們在三種不同人類細胞型別的增強子設計任務和兩種不同酵母培養基條件下的啟動子設計任務上評估了我們的方法，證明了其在生成高適應度CREs方面的有效性和穩健性。
論文介紹
論文題目：Rational Decision-Making Agent with Learning Internal Utility Judgment
作者：葉奕寧*，從鑫*，田世祚，秦禹嘉，劉充，林衍凱，劉知遠，孫茂松
通訊作者：從鑫, 林衍凱
論文概述：隨著技術的顯著進步，許多關於大語言模型（LLMs）的研究致力於開發能夠執行復雜多步驟決策任務的智慧體（LLM-based Agent）。現有方法需要依賴外部效能評估指標來引導決策過程，但這種依賴在實際場景中存在問題，因為外部效能指標可能不可用、有缺陷，甚至可能存在誤導。為了實現真正自主決策，必須從後驗經驗中構建智慧體的自我理性決策能力，以獨立判斷每一步決策的效用（Utility）。本研究提出了RaDAgent（Rational Decision-Making Agent），透過包含“經驗探索（Experience Exploration）”和“效用學習（Utility Learning）”的迭代框架促進其理效能力的構建。在該框架中，我們設計了基於Elo的效用學習方法，透過比較為每一步決策分配Elo分數，從而評估其效用。這些Elo分數隨後指導決策過程，得出最優結果。實驗結果表明，在Game of 24、WebShop、ToolBench和RestBench資料集上RaDAgent相比基線方法平均提升了約7.8%。此外，RaDAgent還能顯著降低成本（例如減少ChatGPT API呼叫次數），凸顯其高效性和有效性。
論文介紹
論文題目：TGB-Seq Benchmark: Challenging Temporal GNNs with Complex Sequential Dynamics
作者：易璐，彭傑，鄭豔萍，莫馮然，魏哲巍，葉宇航，嶽梓軒，黃增峰
通訊作者：魏哲巍，鄭豔萍
論文概述：未來連結預測是實際生產生活中眾多動態系統提升效益的關鍵。本文重點關注面向未來連結預測問題的基準資料集。我們發現現有資料集普遍存在重複邊過多、缺乏複雜序列動態性等問題，而這些缺乏的特性在推薦系統和社交網路等實際應用中卻尤為重要，對提升平臺的使用者體驗和使用者粘性起到了關鍵作用。現有動態圖資料集的這一缺陷也間接導致了現有動態圖方法忽視複雜序列動態性，側重解決重複邊的預測，使得這些方法在社交網路使用者關注列表推薦、商品推薦等應用中表現不佳。為提供對現有動態圖方法更為全面的評估，推動動態圖模型設計，我們提出了具有複雜序列動態性的動態圖基準資料集TGB-Seq。TGB-Seq的資料集中重複邊少，旨在挑戰模型學習序列動態性並預測未出現過的邊。TGB-Seq資料集涵蓋了電商互動、電影評分、商業評論、社交網路、引文網路和網頁連結網路等多個領域的大規模資料集。基準實驗表明，現有方法在TGB-Seq資料集上效能一般，並需要較高的訓練成本。已有方法的這些侷限性為未來研究帶來了全新的挑戰與機遇。
論文介紹
論文題目：Scalable and Certifiable Graph Unlearning: Overcoming the Approximation Error Barrier
作者：易璐，魏哲巍
通訊作者：魏哲巍
論文概述：隨著圖神經網路模型被廣泛應用於包含使用者敏感資料的場景中，圖遺忘學習(Graph Unlearning)受到廣泛關注，成為隱私保護的重要研究領域。本文關注的是理論完備的圖遺忘學習方法。這類方法由於可以提供強有力的隱私保障，近年來備受關注。然而，目前的理論完備圖遺忘方法在大規模圖資料上仍無法直接應用，因為現有理論完備方法需要為每次刪除請求重新計算圖傳播，而圖傳播的計算成本極高。雖然現在已有很多技術可用於加速一般圖神經網路模型中的圖傳播操作，但這些技術引入的近似誤差會影響節點嵌入的精度，而理論完備的圖遺忘學習方法對精度有嚴格要求，是否能借助已有的技術提供理論完備的圖遺忘學習方法還是一個未知的問題。
為了解決這一問題，我們提出了ScaleGUN，這是首個將理論完備的圖遺忘學習方法擴充套件到十億規模邊圖的解決方案。ScaleGUN 將近似圖傳播技術引入理論完備的圖遺忘學習方法，併為節點特徵、邊、節點刪除三種場景提供了理論保證。實驗表明，ScaleGUN可以高效地在大規模圖上取得很好的遺忘效果。值得一提的是，在十億邊規模的圖資料集 ogbn-papers100M上，ScaleGUN能夠在僅20秒內完成 5,000 條隨機邊的理論完備遺忘學習，其中更新節點表示向量僅需 5 秒；相比之下，傳統的理論完備方法分別需要 1.91 小時和 1.89 小時來完成訓練和圖傳播。這體現了ScaleGUN兼顧理論保證和效率的優越性。
論文介紹
論文題目：PhyMPGN: Physics-encoded Message Passing Graph Network for spatiotemporal PDE systems
作者：曾博成，王琦，閆夢濤，劉揚，程澤睿智，張毅，劉紅升，王紫東，孫浩
通訊作者：孫浩
論文概述：求解偏微分方程 （PDE） 是複雜動力學系統建模的基礎。最近的進展證明了基於資料驅動的基於神經的模型在預測時空動力學方面的巨大優勢（例如，與傳統數值方法相比，速度提高了）。然而，大多數現有的神經模型都依賴於豐富的訓練資料，外推和泛化能力有限，並且在複雜條件下（例如，不規則網格或幾何、複雜的邊界條件、不同的 PDE 引數等）難以產生精確或可靠的物理預測。為此，我們提出了一種新的圖學習方法，即物理編碼訊息傳遞圖網路 （PhyMPGN），在給定小訓練資料集的不規則網格上對時空偏微分方程系統進行建模。具體來說，我們將 GNN 合併到數值積分器中，以近似給定 PDE 系統的時空動態的時間行進。考慮到許多物理現象都受擴散過程的控制，我們進一步設計了一個可學習的拉普拉斯塊，它編碼離散的拉普拉斯-貝爾特拉米運算元，以幫助和指導物理上可行的解決方案空間中的 GNN 學習。此外，還設計了邊界條件填充策略來提高模型的收斂性和準確性。廣泛的實驗表明，PhyMPGN 能夠在粗略的非結構化網格上準確預測各種型別的時空動力學，始終如一地獲得最先進的結果，並以相當大的收益優於其他基線。
論文介紹
論文題目：Long Context Compression with Activation Beacon
作者：張配天，劉政，肖詩濤，邵寧錄，葉啟威，竇志成
論文概述：長上下文壓縮是一個關鍵的研究問題，因為它對於降低與 LLM 相關的高計算和記憶體成本具有重要意義。在本文中，我們提出了 Activation Beacon，這是一個基於 Transformer 的 LLM 外掛模組，旨在有效、高效和靈活地壓縮長上下文。為了實現這一目標，我們的方法引入了以下技術設計。我們直接壓縮啟用（即每一層的鍵和值），而不是利用軟提示來傳遞資訊（這構成了在長上下文中封裝複雜資訊的主要瓶頸）。我們定製了壓縮工作流程，其中每個細粒度輸入單元都經過逐步壓縮，從而在訓練和推理過程中實現高質量壓縮和高效計算。我們透過基於壓縮的自迴歸來訓練模型，充分利用純文字和指導資料來最佳化模型的壓縮效能。在訓練過程中，我們在每個步驟隨機抽取一個壓縮率，教導模型支援各種壓縮配置。我們對各種長上下文任務進行了廣泛的評估，這些任務的長度（例如 128K）可能遠遠超過最大訓練長度（20K），例如文件理解、小樣本學習和大海撈針。雖然現有方法難以處理這些具有挑戰性的任務，但 Activation Beacon 在各種場景中都保持了與未壓縮基線相當的效能，推理時間加快了 2 倍，KV 快取的記憶體成本降低了 8 倍。
論文介紹
論文題目：Learning Evolving Tools for Large Language Models
作者：陳國鑫，張眾，從鑫，郭放達，吳葉賽，林衍凱，馮文政，王雅聖
論文概述：工具學習使得大語言模型（LLMs）能夠與外部工具和API進行互動，從而極大地擴充套件了LLMs的應用範圍。然而，由於外部環境的動態變化，這些工具和API可能隨著時間的推移而過時，導致LLMs無法正確呼叫工具。現有研究主要集中在靜態環境中，忽視了這一問題，限制了LLMs在現實世界應用中的適應性。論文提出了一個增強LLMs應對工具變化的適應性和反思能力的新框架ToolEVO。透過利用蒙特卡羅樹搜尋，TOOLEVO促進了LLMs在動態環境中的主動探索和互動，使其能夠基於環境反饋進行自主反思和工具使用自我更新。此外，論文還構建了一個用來評估工具變化影響的基準ToolQA-D，並用大量實驗證明了方法的有效性和穩定性，突顯了適應工具變化對於有效工具學習的重要性。
論文介紹
論文題目：Improving Long-Text Alignment for Text-to-Image Diffusion Models
作者：劉路平，杜超，龐天宇，王澤寒, 李崇軒, 徐東
論文概述：文字到影像（T2I）擴散模型的快速發展使其能夠從給定文字生成前所未有的結果。然而，隨著文字輸入變長，現有的編碼方法（如CLIP）面臨侷限性，生成影像與長文字的對齊變得具有挑戰性。為了解決這些問題，我們提出了LongAlign，其中包括一種用於處理長文字的分段級編碼方法，以及一種用於有效對齊訓練的分解偏好最佳化方法。對於分段級編碼，長文字被劃分為多個段落並分別處理。這種方法克服了預訓練編碼模型的最大輸入長度限制。對於偏好最佳化，我們提供了基於CLIP的分解偏好模型，用於微調擴散模型。具體來說，為了利用基於CLIP的偏好模型進行T2I對齊，我們深入研究了其評分機制，發現偏好分數可以分解為兩個部分：一個衡量T2I對齊的文字相關部分，以及一個評估人類偏好中其他視覺方面的文字無關部分。此外，我們發現文字無關部分在微調過程中會導致常見的過擬合問題。為了解決這一問題，我們提出了一種重新加權策略，為這兩個部分分配不同的權重，從而減少過擬合併增強對齊效果。使用我們的方法對512×512的Stable Diffusion (SD) v1.5進行約20小時的微調後，微調後的SD在T2I對齊方面優於更強的基模型，如PixArt-α和Kandinsky v2.2。
論文介紹
論文題目：Proactive Agent: Shifting LLM Agents from Reactive Responses to Active Assistance
作者：盧雅西，楊深智，錢成，陳桂榮，羅欽雨，吳葉賽，汪華東，從鑫，張眾，林衍凱，劉衛文，王雅聖，劉知遠，劉方明，孫茂松
論文概述：由大型語言模型驅動的智慧體在解決複雜任務方面展現出卓越能力。然而，現有智慧體系統大多具有被動響應特性，在需要前瞻性和自主決策的場景中效果受限。本文致力於開發能夠預判任務並自主啟動操作、無需顯式人類指令的主動型智慧體。為此，我們提出一種創新的資料驅動方法：首先透過採集真實人類活動資料生成主動性任務預測，經人工標註接受/拒絕標籤後，利用標註資料訓練獎勵模型（模擬人類判斷機制），構建LLM智慧體主動性的自動化評估體系。基於此，我們開發了完整的資料生成管道，建立了包含6,790個標註事件的多樣化資料集ProactiveBench。實驗表明，使用該資料集微調模型可顯著提升LLM智慧體的主動性。結果顯示，微調模型在主動提供協助任務中取得66.47%的F1值，優於所有開源和閉源模型。這些發現驗證了該方法在構建主動性智慧體系統方面的潛力，為人機協作研究開闢了新方向。
論文介紹
論文題目：Advancing LLM Reasoning Generalists with Preference Trees
作者：袁立凡*，崔淦渠*，王漢彬*，丁寧，王星堯，鄧佳，單博驥，陳慧敏，謝若冰，林衍凱，劉正皓，周伯文，彭浩，劉知遠，孫茂松
論文概述：我們推出了 EURUS，一套專為推理最佳化的大型語言模型（LLMs）。EURUS 模型基於 Mistral-7B、Llama-3-8B 和 Mixtral-8x22B 微調而成，在覆蓋數學、程式碼生成以及邏輯推理問題的多項基準測試中，實現了開源模型的最新水平。值得注意的是，EURUX-8X22B 在推理能力上，透過針對 12 個測試集的綜合基準評測（涵蓋 5 項任務），超越了 GPT-3.5 Turbo。EURUS 的強大效能主要歸功於 ULTRAINTERACT，這是我們新開發的大規模高質量訓練資料集，專為複雜推理任務設計。ULTRAINTERACT 可用於監督微調、偏好學習以及獎勵建模。該資料集為每個指令配備了一個偏好樹，包括以下內容：推理鏈：以統一格式呈現的多樣化規劃策略。多輪互動軌跡：與環境和批評器的互動過程。成對的正負響應：用於促進偏好學習。ULTRAINTERACT 使我們能夠深入研究推理任務中的偏好學習。研究表明，一些在普通對話中表現良好的偏好學習演算法，在推理任務中可能效果欠佳。我們假設在推理任務中，正確答案的空間比錯誤答案的空間小得多，因此需要明確增加選擇資料的獎勵值。因此，除了像許多偏好學習演算法那樣增加獎勵差距外，正響應獎勵的絕對值應為正值，並可作為效能的代理指標。受到此啟發，我們提出了一種新的獎勵建模目標，並透過實驗證明，該方法能夠帶來更穩定的獎勵建模曲線和更好的效能。結合 ULTRAINTERACT，我們獲得了一個強大的獎勵模型。
論文介紹
論文題目：REEF: Representation Encoding Fingerprints for Large Language Models
作者：張傑，劉東瑞，錢辰，張林峰，劉勇，喬宇，邵婧
論文概述：保護開源大型語言模型（LLMs）的智慧財產權非常重要，因為訓練LLMs需要耗費大量的計算資源和資料。因此，模型所有者和第三方需要確定一個可疑模型是否是受害者模型的後續開發版本。為此，我們提出了一種無需訓練的REEF方法，從LLMs特徵表示的角度來識別可疑模型與受害者模型之間的關係。具體來說，REEF透過計算並比較可疑模型與受害者模型在相同樣本上的中心核對齊相似度來實現這一目標。這種無需訓練的REEF方法不會損害模型的通用能力，並且對順序微調、剪枝、模型合併和排列具有魯棒性。透過這種方式，REEF為第三方和模型所有者提供了一種簡單有效的方法，共同保護LLMs的智慧財產權。
Github: https://github.com/AI45Lab/REEF
論文介紹
論文標題：A Non-Contrastive Learning Framework for Sequential Recommendation with Preference-Preserving Profile Generation
作者：Huimin Zeng, Xiaojie Wang, Anoop Jain, 竇志成, Dong Wang
論文概述：對比學習（Contrastive Learning, CL）在序列推薦（Sequential Recommendation, SR）中已被證明能有效學習具有泛化能力的使用者表徵，但由於其依賴負樣本，因此計算成本較高。為克服這一侷限，我們首次提出了一種非對比學習（Non-Contrastive Learning, NCL）框架用於序列推薦，該框架消除了識別和生成負樣本的計算開銷。然而，在缺少負樣本的情況下，僅依靠正樣本學習均勻表徵具有挑戰性，因為這容易導致表示坍塌。此外，由於現有的臨時增強方法可能產生使用者偏好不一致的正樣本，因此所學表示的對齊性可能會大打折扣。為應對這些挑戰，我們設計了一種新穎的偏好保持使用者畫像生成方法，為非對比訓練生成高質量的正樣本。受差分隱私的啟發，我們的方法建立了具有高度多樣性且可證明保留了一致使用者偏好的增強使用者畫像。正樣本的多樣性和一致性提升後，我們的非對比學習框架顯著增強了所學表示的對齊性和均勻性，從而有助於更好的泛化。在各種基準資料集和模型架構上的實驗結果證明了所提方法的有效性。最後，我們的研究表明，均勻性和對齊性在提高序列推薦的泛化能力方面均起著至關重要的作用。有趣的是，在我們的資料稀疏設定中，對齊性通常比均勻性更為重要。
論文介紹
論文題目：Optimal Transport for Time Series Imputation
作者：Hao Wang, Zhengnan Li, Haoxuan Li, 陳旭, Mingming Gong, Bin Chen, Zhichao Chen
論文概述：基於分佈匹配的缺失值填充方法在運用到時間序列資料時存在不足，難以有效捕捉自相關性和非平穩性。為此，我們提出了一種近鄰譜增強的Wasserstein度量，透過引入成對頻譜距離和選擇性匹配機制，有效適配時間序列的自相關性和非平穩性特徵。進一步，我們開發了一種時間序列填充框架，透過迭代最小化該度量，最佳化填充結果。實驗表明，該方法在多種時間序列資料中表現優異，為時間序列填充提供了新的解決方案。
掃描二維碼新增小助手微信
關於我們