CVPR2025｜MomAD：動量感知規劃的端到端自動駕駛

2025-06-29 09:37 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

我們提出了一種名為Momentum-Aware Driving (MomAD)的框架，用於端到端自動駕駛系統中的軌跡規劃。該框架透過引入軌跡動量和感知動量來穩定和最佳化軌跡預測，從而提高自動駕駛系統在動態環境中的魯棒性和可靠性。端到端自動駕駛框架實現了感知與規劃的無縫整合，但通常依賴於一次性軌跡預測，這可能導致控制不穩定，並且對單幀感知中的遮擋問題較為敏感。為解決這一問題，我們提出了動量感知駕駛框架（MomAD），該框架引入了軌跡動量和感知動量，以穩定和最佳化軌跡預測。MomAD包含兩個核心元件：（1）拓撲軌跡匹配（TTM），採用豪斯多夫距離選擇與先前路徑一致的最優規劃查詢，以確保連貫性；（2）動量規劃互動器（MPI），透過交叉注意力機制將選定的規劃查詢與歷史查詢相結合，擴充套件靜態和動態感知檔案。這種豐富的查詢反過來有助於重新生成長時間跨度的軌跡，並降低碰撞風險。為了減輕動態環境和檢測誤差帶來的噪聲，我們在訓練過程中引入了魯棒的例項去噪，使規劃模型能夠專注於關鍵訊號並提高其魯棒性。我們還提出了一種新的軌跡預測一致性（TPC）指標，用於定量評估規劃的穩定性。在nuScenes資料集上的實驗表明，MomAD在長期一致性（>3s）方面優於現有的最先進方法。此外，在精心設計的Turning-nuScenes資料集上的評估顯示，MomAD在6秒預測時間範圍內將碰撞率降低了26%，並將TPC提高了0.97米（33.45%），而在Bench2Drive上的閉環測試中，成功率提高了16.3%。

程式碼：https://github.com/adept-thu/MomAD
1. 研究背景：
  • 問題：端到端自動駕駛系統需要無縫整合感知和規劃模組，但傳統的單次軌跡預測方法可能導致控制不穩定和對單幀感知遮擋的敏感性。
  • 難點：現有方法在處理複雜場景時，往往依賴於一次性軌跡預測，缺乏時序一致性和對動態環境的適應性，容易導致軌跡預測的不穩定和碰撞風險增加。
  • 相關工作：現有的端到端自動駕駛方法如UniAD和VAD在軌跡規劃中採用了確定性方法，未能充分考慮軌跡多樣性和時序一致性。SparseDrive等方法雖然實現了多模態軌跡規劃，但在時序一致性方面仍存在。
自動駕駛技術經歷了從模組化、手工設計的管道到更整合化的端到端正規化的轉變。傳統方法將檢測、跟蹤、地圖構建、運動預測和規劃等任務分開處理，而端到端框架則強調這些任務的無縫整合。透過優先考慮規劃，端到端框架能夠戰略性地引導來自上游感知模組的資訊，從而增強動態駕駛環境中的魯棒性和可靠性。高質量的規劃依賴於準確預測自車未來的軌跡，這需要對靜態和動態環境因素（如地圖元素和與周圍交通參與者的互動）有長遠的理解。然而，由於其他道路使用者意圖的不確定性、道路條件的變化以及人類駕駛行為引入的模糊性，軌跡預測本質上是隨機的，這使得確定性預測變得次優甚至具有風險。現有的多模態軌跡規劃方法雖然能夠考慮多種可能的交通參與者行為，但它們通常是基於當前感知幀的一次性預測，容易受到遮擋或關鍵視覺線索丟失的影響，導致軌跡質量下降。此外，缺乏時間一致性可能導致連續軌跡缺乏連貫性，引發不穩定的車輛控制。為了解決這些問題，本文提出了動量感知駕駛框架（MomAD），透過引入軌跡動量和感知動量來穩定和最佳化軌跡預測，從而在動態駕駛環境中實現更平滑和一致的規劃結果。

(a) 確定性規劃的方案，例如UniAD，VAD等等方法，缺乏動作多樣性，存在安全風險；(b) 多模態軌跡規劃方案，例如VADv2，SparseDrive等等方法，透過選擇最高分軌跡，但存在最大分數偏移問題導致穩定性不足；(c) 我們提出的MomAD巧妙利用“慣性”的思想，透過動量規劃利用歷史和感知動量提升時序一致性，解決端到端自動駕駛中不穩定行駛的問題。

2.研究方法：
Topological Trajectory Matching (TTM)：該模組透過Hausdorff距離選擇與歷史路徑最匹配的多模態軌跡提案，以確保時序一致性和軌跡的連續性。具體來說，TTM模組透過最小化不同時間步之間的規劃差異，防止軌跡偏離歷史軌跡。
Momentum Planning Interactor (MPI)：該模組透過長時查詢混合器將當前最佳規劃查詢與歷史規劃查詢進行交叉注意力處理，擴充套件靜態和動態感知檔案，從而豐富當前查詢的上下文資訊。MPI模組透過結合歷史查詢和當前查詢，生成改進的軌跡預測，增強了對周圍環境的感知能力。
Robust Instance Denoising via Perturbation：在訓練過程中引入受控噪聲擾動，使模型能夠區分關鍵和無關特徵，提高對感知噪聲的魯棒性。透過這種方式，模型在測試時能夠更好地應對例項特徵的波動，生成更穩定和平滑的軌跡。

3. 結果與分析：
如表所示，MomAD在L2誤差、碰撞率和TPC（軌跡預測一致性）上分別達到了0.60米、0.09%和0.54米。與UniAD、VAD和SparseDrive等最先進方法相比，我們的方法在規劃結果上表現出色。值得注意的是，我們在TPC指標上取得了顯著改進，在nuScenes資料集上1秒、2秒和3秒的TPC分別提升了0.30米、0.53米和0.78米，直接證明了我們在時間一致性方面的有效性。總體而言，MomAD有效利用了動量的平滑優勢，在提升時間一致性方面效果顯著。

準確的長軌跡預測對於提升自動駕駛的穩定性至關重要，同時也有助於評估模型解決多模態軌跡規劃中時間一致性問題的能力。如表所示，我們在nuScenes和Turning-nuScenes資料集上對比了SparseDrive和MomAD在4-6秒長軌跡預測中的表現，結果顯示MomAD在效能上有顯著提升。具體而言，在nuScenes資料集中，與SparseDrive相比，MomAD在4秒、5秒和6秒的L2誤差分別降低了0.09米（5.14%）、0.34米（14.66%）和0.50米（16.95%），碰撞率分別降低了0.04%、0.11%和0.20%，TPC（軌跡預測一致性）分別降低了0.14米（10.53%）、0.21米（12.65%）和0.38米（19.10%）。此外，在Turning-nuScenes資料集中，與SparseDrive相比，MomAD在4秒、5秒和6秒的L2誤差分別降低了0.27米（13.04%）、0.64米（23.62%）和0.85米（25.30%），碰撞率分別降低了0.06%、0.14%和0.26%，TPC分別降低了0.17米（11.04%）、0.73米（31.60%）和0.97米（32.45%）。可以觀察到，MomAD在更遠距離的軌跡預測上表現顯著提升，尤其是在6秒時的改進幅度最大。總體而言，MomAD提升了長軌跡預測的效能，進一步證明了其能夠有效緩解時間一致性問題。

我們已在Bench2Drive資料集上進行了具有挑戰性的閉環評估，結果如表所示。該資料集涵蓋44個互動場景，例如切入、超車、繞行，以及220條路線，覆蓋多種天氣條件和地點。我們的MomAD框架在成功率上分別比VAD多模態變體和SparseDrive提高了16.3%和8.4%，並在舒適度評分（軌跡平滑度）上分別提升了7.2%和5.3%，證明了其有效性。

4. 總體結論：
MomAD框架透過引入軌跡動量和感知動量，顯著提高了端到端自動駕駛系統在軌跡規劃中的穩定性和魯棒性。未來工作將探索擴散模型和推測解碼方法，以進一步提高軌跡多樣性和效率。

何愷明在MIT授課的課件PPT下載
在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章