擴散模型再發力！Hinton團隊提出：影像和影片全景分割新框架

本文的創新點一方面在於能夠在大型全景掩碼上訓練擴散模型，一方面在於可以同時適配圖片和流媒體場景。

全景分割是一項基本的視覺任務，該任務旨在為影像的每個畫素指定語義標籤和例項標籤。語義標籤描述每個畫素的類別（例如天空、豎直物體等），例項標籤為影像中的每個例項提供唯一的 ID（以區分同一類別的不同例項）。該任務結合了語義分割和例項分割，提供了關於場景的豐富語義資訊。

雖然語義標籤的類別是先驗固定的，但分配給影像中物件的例項 ID 是可以互相交換同時不影響識別的。例如，交換兩輛車的例項 ID 不會影響結果。因此，經過訓練以預測例項 ID 的神經網路應該能夠學習從單個影像到多個例項 ID 分配的一對多對映。一對多對映的學習具有挑戰性，傳統方法通常利用多個階段的管道，包括物件檢測、分割、合併多個預測。最近，基於可微二分圖匹配，一些學者提出了端到端方法，能夠有效地將一對多對映轉換為基於識別匹配的一對一對映。然而，這些方法仍然需要定製的架構和專門的損失函式，以及用於全景分割任務的內建歸納偏置。

最近的通用視覺模型，例如 Pix2Seq、OFA、UViM 和 Unified I/O，提倡通用的、不限制任務的框架來實現泛化任務，同時還能比以前的模型簡單得多。例如，Pix2Seq 根據影像生成一系列具有語義意義的序列，來完成一些核心的視覺任務，並且這些模型基於 Transformers 來訓練自迴歸模型。

在一篇新的論文中，谷歌大腦的 Ting Chen、Geoffrey Hinton 等研究者遵循相同的理念，從條件離散資料生成的角度理解全景分割任務問題。

A Generalist Framework for Panoptic Segmentation of Images and Videos

論文連結 https://arxiv.org/abs/2210.06366

如圖 1 所示，研究者為全景掩碼設計了一個生成模型，併為輸入到模型的每一張圖片都生成一組離散 token。使用者只需將過去幀的預測作為附加條件訊號，就可以將此模型應用於影片資料（線上資料 / 流媒體）。這樣一來，模型就可以自動地學習跟蹤和分割物件。

全景分割的生成式建模非常具有挑戰性，因為全景掩碼是離散的，或者說是有類別的，並且模型可能非常大。例如，要生成 512×1024 的全景掩碼，模型必須生成超過 1M 的離散標記（語義標籤和例項標籤）。這對於自迴歸模型來說開銷還是比較昂貴的，因為 token 本質上是順序的，很難隨著輸入資料的規模變化而變化。擴散模型更擅長處理高維資料，但它們最常應用於連續域而不是離散域。透過用模擬位表示離散資料，本文作者表明可以直接在大型全景掩碼上訓練擴散模型，而無需學習潛在空間。

透過廣泛的實驗，研究者們證明了他們的通用法可以在類似環境中與最先進的專家方法一較高下。

模型架構

擴散模型取樣是迭代進行的，因此在推理過程中必須多次執行網路的前向傳播。因此，如圖 2 所示，研究者有意將網路分成兩個元件：1）影像編碼器；2) 掩碼解碼器。前者將原始畫素資料對映到高階表示向量，然後掩碼解碼器迭代地讀出全景掩碼。

畫素 / 影像編碼器

編碼器是將原始影像

對映到

中的特徵圖的網路，其中 H’和 w’是全景遮罩的高度和寬度。全景遮罩可以與原始影像的大小相同或小一點。在這項工作中，研究者們使用 ResNet 作為骨幹網路，然後使用 Transformer 的編碼器層作為特徵提取器。為了確保輸出的特徵圖具有足夠的解析度，幷包含不同尺度的特徵，受 U-Net 和特徵金字塔網路的啟發，研究者使用具有雙邊連線和上取樣操作的卷積從不同的解析度來合併特徵。雖然可以使用更復雜的編碼器，這樣可以使用一些架構設計方面的最新進展，但這不是網路模型的主要關注點，所以研究者只是使用較為簡單的特徵提取器來說明其在模型中的作用。

掩碼解碼器

解碼器在模型推理過程中基於影像特徵，迭代地細化全景掩碼。具體來說，研究者使用的掩碼解碼器是 TransUNet。該網路將來自編碼器的影像特徵圖和噪聲掩碼（隨機初始化或迭代地來自編碼過程）的連線作為輸入，並輸出對掩碼的精確預測。解碼器與用於影像生成和影像到影像轉換的標準 U-Net 架構之間的一個區別是，在上取樣之前，本文使用的 U-Net 頂部使用了帶有交叉注意力層的 transformer 解碼器層來合併編碼的影像特徵。

在影片模態下的應用

研究者將影像條件下的全景遮罩建模為：p(m|x)。基於給定影片的三維掩碼（有一個額外的時間維度），本文的模型就可以直接適用於影片全景分割。為了適應線上 / 流媒體的影片設定，可以改用 p(m_t|x_t,m_(t-1),m_(t-k))建模，從而基於當前的影像和上一時刻的掩碼生成新的全景掩碼。如圖 5 所示，這一變化可以透過將過去的全景掩碼 (m_(t-1),m_(t-k)) 與現有的噪聲掩碼連線起來來實現。除了這個微小的變化之外，其他方面都與影片基礎模型（p(m|x)）相同。這個模型很簡單，對影像全景模型進行微調就可以應用到影片場景裡。

實驗結果

本文與兩個系列的最先進的方法進行了比較，即專家方法和通用方法。表 1 總結了在 MS-COCO 資料集上的結果。Pix2Seq-D 在基於 ResNet-50 的主幹上的泛化質量（PQ）與最先進的方法相比有一定的競爭力。與最近的其他通用模型如 UViM 相比，本文的模型表現明顯更好，同時效率更高。

表 2 將 Pix2Seq-D 與無監督影片物體分割最先進的方法在 DAVIS 資料集上進行了比較，指標使用的是標準的 J&F。值得注意的是基線不包括其他通用模型，因為它們不能直接適用於該任務。本文的方法在沒有專門設計的情況下取得了與最先進的方法相同的結果。

圖 8、9 和 10 顯示了 Pix2Seq-D 在 MS-COCO、Cityscape 和 DAVIS 上的示例結果。

點選進入—>CV微信技術交流群

CVPR/ECCV 2022論文和程式碼下載

後臺回覆：CVPR2022，即可下載CVPR 2022論文和程式碼開源的論文合集

後臺回覆：ECCV2022，即可下載ECCV 2022論文和程式碼開源的論文合集

後臺回覆：Transformer綜述，即可下載最新的3篇Transformer綜述PDF

影像分割交流群成立

掃描下方二維碼，或者新增微信：CVer222，即可新增CVer小助手微信，便可申請加入CVer-影像分割 微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer等。

一定要備註：研究方向+地點+學校/公司+暱稱（如影像分割+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群