ContinuousSR：從離散低解析度影像中重建連續高解析度高質量訊號

2025-04-23 09:32 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【超解析度】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

Pixel to Gaussian: Ultra-Fast Continuous Super-Resolution with 2D Gaussian Modeling
論文: https://arxiv.org/abs/2503.06617 
程式碼: github.com/peylnog/ContinuousSR
中國科學技術大學、華為諾亞實驗室、港科大、清華大學等單位 聯合提出了一種超快速的任意尺度超分方法, ContinuousSR. 該文首次提出從離散低解析度影像中重構高質量高分辨連續高斯場, 並藉助2DGS實現快速多尺度連續超分, 效能大幅度提升0.9dB, 執行速度提升19倍.
背景：為什麼需要任意比例超解析度（ASSR）？
影像超解析度技術旨在從低解析度（Low-Resolution, LR）影像生成高解析度（High-Resolution, HR）影像。然而，傳統的超解析度方法通常只能處理固定比例（如×2、×4）的放大，這在實際應用場景中存在很大的侷限性。為了解決這一問題，近年來研究者們提出了任意比例超解析度（Arbitrary-Scale Super-Resolution, ASSR），希望透過單一模型實現任意放大比例的超解析度。一些基於隱式神經表示（Implicit Neural Representation, INR）的方法，如LIIF、CiaoSR等，已經在ASSR任務上取得了顯著進展。然而，這些方法常常需要多次上取樣和解碼步驟，不僅效率低下，還會因為隱函式的表達能力有限而導致生成影像質量的下降。

圖1 (a) 現有ASSR方法 (b) Motivation (c) Our method (d) 效能和速度對比
ContinuousSR：一場正規化的革命
論文提出的ContinuousSR框架，創造性地引入了Pixel-to-Gaussian正規化，透過高斯建模直接重建連續的高解析度訊號，從而徹底改變了ASSR任務的實現方式。
1. Pixel-to-Gaussian：從畫素到高斯的重新定義
ContinuousSR的核心思想是將影像從畫素空間轉換到高斯空間。具體來說，論文提出透過2D高斯核來顯式表示影像的連續訊號。每個高斯核具有位置、顏色、協方差矩陣等引數。透過最佳化這些引數，ContinuousSR能夠高效地構建一個連續的高解析度表示。相比傳統方法中繁瑣的上取樣和解碼過程，使用高斯建模後可以直接取樣生成任意比例的HR影像，大大提升了效率。

圖2 深度高斯先驗（Deep Gaussian Prior, DGP)
2. 三大創新模組：提升效能與效率
論文為ContinuousSR設計了三大核心模組，使得模型在效能和效率上都達到了新的高度：
  • DGP-Driven Covariance Weighting（DGP驅動的協方差加權）
  • 透過對4萬張自然影像進行統計分析，論文發現了一個重要規律——深度高斯先驗（Deep Gaussian Prior, DGP），即高斯核的協方差引數服從一定的分佈規律。為此，作者透過取樣預定義的高斯核並引入動態加權機制，顯著降低了高斯空間的最佳化難度。
  • Adaptive Position Drifting（自適應位置漂移）
  • 在高斯核的初始化過程中，作者提出了一種動態偏移策略，使得高斯核可以根據影像內容自適應調整位置，從而在複雜紋理區域分佈更多高斯核，大幅提升重建細節的質量。
  • Color Gaussian Mapping（顏色高斯對映）
  • 針對RGB顏色引數的學習，論文采用了簡單高效的多層感知機（MLP）結構，進一步優化了色彩表現。

圖3 ContinuousSR框架
3. 超快渲染速度與高質量重建
得益於Pixel-to-Gaussian正規化和上述創新模組，ContinuousSR在效能和速度上都取得了驚人的表現：
極快的任意比例渲染：在完成高斯場構建後，模型能夠以每比例1ms的速度生成HR影像，達到了現有方法的19.5倍加速。
重建質量顯著提升：在多個基準資料集上的實驗表明，ContinuousSR的重建效能相比現有方法提升了0.9 dB（PSNR），特別是在高放大倍率場景下表現尤為突出。

圖4 效能對比

何愷明在MIT授課的課件PPT下載

在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章