登上頂會！時序大模型新突破！

首個全開源時間序列預測基礎模型Moirai釋出，它是一種通用的預測正規化，讓預訓練模型可以處理任意時序預測任務。在零樣本預測中，Moirai的效能媲美甚至超越了SOTA。

MOIRAI的整體架構

不僅僅是Moirai，谷歌的TimesFM、亞馬遜的Chronos等都達成了革命性突破。

作為學術研究的熱門方向，時間序列不僅可以提高預測模型的效能，還能精確預測未來趨勢和模式，特別適用於資料點之間存在時間依賴關係的情況，比如股票市場預測、氣象預報等。因此在學術界與工業界都有廣泛應用，研究成果豐富且多樣。

對於時間序列領域想發論文的同學來說，學習這些優秀成果尤為必要。本文盤點了時間序列領域2024最新頂會論文，共19篇，程式碼可復現，篇幅原因只做部分介紹，希望能給各位帶來一些啟發。

掃碼新增小享，回覆“時序新頂會”

免費獲取全部論文+開原始碼

方法：論文基於Transformer的多元時間序列預測問題，發現傳統的Transformer模型在這個任務上表現較差，並提出了一種新的淺層Transformer模型（SAMformer），透過引入銳度感知最佳化方法，使得模型能夠更好地泛化。

創新點：

作者發現傳統的Transformer模型在多變數長期預測中表現不佳，無法收斂到最佳解，儘管它們具有高度表達能力。作者進一步確定了Transformer的注意力機制是造成這種低泛化能力的主要原因。
作者提出了一種淺層輕量級的Transformer模型，稱為SAMformer，它成功地擺脫了訓練中的不良區域性最小值，透過銳度感知最佳化實現更好的泛化效能。作者在常見的多變數長期預測資料集上經驗性地證明了我們方法的優越性。SAMformer在平均值上比當前最先進的多變數模型TSMixer提高了14.33%，同時引數數量約為TSMixer的4倍。

方法：論文提出一種用於處理帶有缺失值的時間序列預測的方法——BiTGraph，透過結合時空動態性和空間結構，透過兩個精心設計的模組（Multi-Scale Instance PartialTCN和Biased GCN）來處理缺失值。

創新點：

提出了BiTGraph模型，用於處理具有缺失值的多變數時間序列預測。該模型能夠同時捕捉時間動態和空間結構，並且明確考慮了缺失值的影響。在五個真實世界基準資料集上的實驗結果驗證了該模型在各種缺失值情況下的優越性。
引入了Multi-Scale Instance PartialTCN來有效地建模由於缺失值而破壞的時間依賴性，並提出了Biased GCN來透過構建有偏差的圖形來在例項之間傳播資訊，以一種考慮缺失值的方式。

掃碼新增小享，回覆“時序新頂會”

免費獲取全部論文+開原始碼

方法：作者引入了MOMENT，這是一個開源的通用時間序列分析基礎模型系列。MOMENT透過在大量來自不同領域的時間序列資料上進行掩碼序列預測任務的預訓練來解決時間序列預訓練的挑戰，並透過針對多個任務和資料集的評估來構建實驗基準。

創新點：

透過編譯大量公開可用的資料集構建了Time Series Pile，這是一個包含來自不同領域的多個時間序列資料庫的大型資料集，為預訓練提供了豐富的資料資源。
針對時間序列資料的特點，設計了一種基於transformer和patching的時間序列建模方法，透過將時間序列劃分為子序列並以子序列為輸入，實現了有效的時間序列表示學習和預測能力。
提出了使用掩碼錶示學習的方法進行預訓練，可以在沒有標籤的情況下學習時間序列的重建能力，並且透過fine-tuning進一步最佳化模型效能，實現了多個時間序列分析任務的端到端解決方案。