MLNLP社群是國內外知名的機器學習與自然語言處理社群，受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。

社群的願景是促進國內外自然語言處理，機器學習學術界、產業界和廣大愛好者之間的交流和進步，特別是初學者同學們的進步。

來源 | 深度學習自然語言處理

作者 | chenyi

大家好，今天我們要聊的是一篇關於LLM的論文，主題是如何讓大模型的“思維鏈”（Chain-of-Thought, CoT）變得更高效。大家都知道，大模型在處理複雜問題時，會生成一系列的推理步驟，這就是所謂的“思維鏈”。雖然這種推理方式很強大，但隨著推理步驟的增加，生成的token數量也會直線上升，導致推理速度變慢，使用者體驗變差。想象一下，你問大模型一個問題，結果它給你吐出一篇“論文”那麼長的推理過程，你是不是會有點崩潰？

論文：TokenSkip: Controllable Chain-of-Thought Compression in LLMs

地址：https://arxiv.org/pdf/2502.12067

這篇論文的作者們發現，其實並不是所有的token都對推理結果有同等貢獻。有些token是“划水”的，完全可以跳過！於是，他們提出了一個叫TokenSkip的方法，讓大模型在推理時能夠自動跳過那些不重要的token，從而實現可控的思維鏈壓縮。這樣一來，推理速度提升了，使用者體驗也更好了，簡直是一舉兩得！

方法：TokenSkip – 讓大模型“跳”起來！

那麼，TokenSkip到底是怎麼做到的呢？讓我們來一探究竟！

核心思想：不是所有token都重要！

首先，作者們發現，思維鏈中的token並不是平等的。有些token對推理結果至關重要，比如數學公式和關鍵數字；而有些token則相對“划水”，比如一些連線詞（如“所以”、“因為”）。基於這個發現，TokenSkip的核心思想就是：讓大模型學會跳過那些不重要的token，只保留關鍵的推理步驟。

對比了普通CoT和TokenSkip的生成過程，生動展示了“跳過冗餘token”的效果。

具體實現：如何讓大模型學會“跳”？

TokenSkip的實現分為三個步驟：token修剪、訓練和推理。

Token修剪：首先，TokenSkip會根據每個token的語義重要性進行排序，然後根據設定的壓縮比例，保留最重要的token，去掉那些“划水”的token。這個過程就像是在修剪一棵樹，去掉多餘的枝葉，保留主幹。

不同token重要性評估方法的對比，幫助理解哪些token被判定為“不重要”。

訓練：接下來，TokenSkip會用修剪後的思維鏈資料對大模型進行微調。為了讓大模型學會在不同的壓縮比例下工作，訓練資料中會包含不同壓縮比例的思維鏈。這樣一來，大模型就能學會在不同的壓縮比例下進行推理。

TokenSkip的訓練和推理流程，清晰解釋了資料壓縮和模型適配的過程。

推理：在推理階段，TokenSkip會讓大模型根據設定的壓縮比例，自動跳過那些不重要的token，生成壓縮後的思維鏈。這樣一來，推理速度就大大提升了！

實驗：TokenSkip真的有效嗎？

為了驗證TokenSkip的有效性，作者們進行了一系列實驗，主要使用了兩個數學推理基準資料集：GSM8K和MATH-500。實驗結果表明，TokenSkip在壓縮思維鏈的同時，依然保持了強大的推理能力。

實驗結果：壓縮40%，效能幾乎不降！

在GSM8K資料集上，Qwen2.5-14B-Instruct模型在使用TokenSkip後，推理token數量減少了40%（從313個減少到181個），而效能下降不到0.4%！這意味著，TokenSkip不僅大幅提升了推理速度，還幾乎不影響模型的推理能力。

不同壓縮比例下的效能變化，直觀體現“壓縮不降精度”的優勢。

對比實驗：TokenSkip完勝其他方法！

作者們還對比了TokenSkip和其他兩種常見的長度控制方法：基於提示的壓縮和截斷法。實驗結果顯示，基於提示的壓縮方法無法達到指定的壓縮比例，而截斷法雖然能壓縮token數量，但會導致推理效能大幅下降。相比之下，TokenSkip不僅能夠精確控制壓縮比例，還能保持較高的推理效能。

對比了不同方法的效能，TokenSkip在壓縮比例和準確率上全面領先。

案例分析：TokenSkip如何“跳”過冗餘token？

為了更好地理解TokenSkip的工作原理，作者們還提供了一些案例分析。在這些案例中，TokenSkip成功地跳過了那些不重要的token，比如一些連線詞和冗餘的句子，而保留了關鍵的數學公式和數字。這些案例表明，TokenSkip並不是簡單地縮短思維鏈，而是學會了在關鍵推理步驟之間“跳”過冗餘資訊。