NeurIPS2024|已開源！港科廣團隊提出Hawk：面向開放世界的影片異常理解框架

影片異常檢測（VAD）系統廣泛應用於監控、安防、交通管理等領域，能夠自動識別異常事件，如暴力行為、交通事故等，從而減少人工干預、提高效率。在大模型時代，隨著大規模預訓練模型，尤其是視覺語言模型（VLM）的發展，VAD 的智慧化水平得到了顯著提升。

然而，現有 VAD 技術仍面臨挑戰。當前系統多依賴傳統特徵提取方法，對場景的語義理解有限，難以識別複雜或不規則的異常行為。同時，現有的標註資料稀缺，限制了 VAD 在開放世界場景中的應用，這些場景中異常行為千差萬別，現有模型難以應對未見過的新型異常，並缺乏足夠的自適應能力。

針對上述挑戰，本研究提出了Hawk，一個面向開放世界的影片理解和異常檢測框架。HAWK 透過識別異常影片和正常影片之間的運動資訊差異，顯式地整合了運動模態以增強異常識別。為了加強運動資訊的關注，Hawk 在運動和影片空間中構建了一個輔助一致性損失，指導影片分支集中在運動模態上。

此外，為了提升運動與語言之間的解釋能力，Hawk 建立了運動及其語言表示之間的明確監督關係。此外，本研究標註了超過 8,000 個異常影片及其語言描述，支援在多樣的開放世界場景中進行有效訓練，並建立了 8,000 對問答對，以幫助使用者處理開放世界中的問題。

實驗結果表明，HAWK 在影片描述生成和問答任務中均超越了現有的 VAD 基準。

論文標題：

Hawk: Learning to Understand Open-World Video Anomalies

論文連結：

https://openreview.net/pdf?id=vBKoEZ1PG3

Demo連結：

https://huggingface.co/spaces/Jiaqi-hkust/hawk

模型連結：

https://huggingface.co/Jiaqi-hkust/hawk

資料集連結：

https://huggingface.co/datasets/Jiaqi-hkust/hawk

程式碼連結：

https://github.com/jqtangust/hawk

引言

▲ 圖1：在 VAD 中不同的架構

（A）是傳統的 VAD，他使用一個二分類器來檢測異常；

（B）是使用多分類器整合語義資訊來給出對不同型別的異常資訊，僅限於檢測異常幀

（C）是之前的影片理解框架，可以互動式的為使用者提供豐富的語義資訊（但更多關注的是長距離上下文資訊，而不是異常資訊），但是不能準確定位異常（因為主要依賴偽標籤）

（D）為本文提出的方法，提高了異常理解能力，並使用帶有豐富語義資訊的註釋標籤來訓練

1.1 問題

如圖 1（A）所示，對場景的語義理解較淺，使用者互動不足。
如圖 1（B）所示，僅限於檢測異常幀，仍需進一步手動分析來理解異常。
如圖 1（C）所示，主要依賴於偽標籤進行訓練，更多關注長距離上下文資訊，而不是與異常相關特徵。

1.2 方法

HAWK 是一個互動式 VLM（interactive large visual-language model），用於精確理解影片異常，如圖 1（D）所示。

正常影片和異常影片中的運動差異顯著。透過雙分支框架顯式整合運動模態，以增強對異常的理解（3.1）。
增強運動注意力。基於原始影片（外觀特徵）和其運動之間的互資訊，在緊空間中構建了一個輔助一致性損失（3.2）隱式引導影片分支關注運動相關特徵。
增強運動與相應語言的解釋。從原始描述中提取與運動相關的語言（動詞及其實體），以監督運動的視覺和語言表示（3.3）。

1.3 資料集

本研究採集了來自不同場景的七個影片異常資料集，併為每個影片生成了語言描述。此外，為了應對使用者提出的開放式問題，本研究利用影片的語言描述生成潛在的 QA 對進行訓練。

由於這些資料集涵蓋了多個場景，包括犯罪（UCF-Crime）、校園環境（ShanghaiTech 和 CUHK Avenue）、人行道（UCSD Ped1 和 Ped2）、交通情況（DoTA）以及人類行為（UBnormal），因此，該模型能夠有效地泛化到開放世界場景中。

1.4 貢獻

一個創新的影片-語言框架 HAWK，旨在理解影片異常，並引入運動模態來增強其影片理解語義能力。
為七個不同的影片異常資料集生成了豐富的語言描述。同時，考慮到開放世界問題的多樣性，同時生成了問答對，以應對潛在的使用者 QA。
在多個場景中展示了 SOTA 的表現，既能進行影片異常理解，又能進行問答任務。

資料工程

▲ 圖2：資料集生成的流程。

（第一行）首先將影片分割為片段密集片段並生成描述，然後透過將“描述+prompt” 輸入給 GPT4 來生成與異常影片相關的描述，並且要人工檢查出錯誤的。

（第二行）將”兩個原則 +prompt” 輸入給 GPT4 來生成問題，並透過人工選出最合適的 100 個問題，將他們隨機分給不同的影片，然後將上面的”描述 + 問題 + prompt” 輸入給 GPT4 來生成答案。

2.1 原理

2.1.1 語言描述

對 7 個數據集進行詳細的語言描述標註，涵蓋了多種異常場景：

犯罪（UCF-Crime）
校園（ShanghaiTech、CUHK Avenue）
人行道（UCSD Ped1、Ped2）
交通（DoTA）
人類行為（UBnormal）

2.1.2 開放性問題

為每種場景構建了開放式的 QA 對，進一步增強模型對使用者各種問題的實際回答能力。過程如圖 2 所示。資料格式如下：

2.2 異常影片描述生成流程

首先將影片拆分為密集的片段，確保捕捉到關鍵資訊
使用感知工具（InternVideo、Tag2Text、GRiT）自動生成每個片段的描述（UCF-Crime 本身就有）
將描述 + prompt（生成與影片異常相關的具體描述）給 GPT-4 來為每個影片生成與異常相關的描述
人工檢查不準確的標註

2.3 以人為中心的 QA 對生成

雖然已經獲得準確的異常影片描述。但仍可能面臨使用者提出的更開放性問題的挑戰。

2.3.1 兩個原則

與異常相關：問題應與影片中的異常緊密相關
5W2H：What、Who、Where、When、How、How much 和 Why

2.3.2 流程

將“兩個原則 + prompt” 輸入 GPT-4 來生成異常影片的開放性問題
人工選擇出最合適的 100 個問題，隨機分配給每個影片
將“問題 + prompt” 輸入 GPT-4 來為 <QUESTION> 生成 <ANSWERS>

方法

圖3：Hawk 的總覽

在訓練過程中，旨在最佳化 3 個損失：

（1）原始影片到語言匹配損失，為了生成一般性的語言描述

（2）原始影片到運動一致性損失，為了讓原始影片更關注與運動相關的

（3）運動到語言匹配損失，為了讓模型更好的描述運動

3.1 顯式整合運動模態

HAWK 專門集成了運動模態，採用架構相同但權重獨立的雙分支結構整合影片和運動資訊，形成視覺標記嵌入。最終，透過結合視覺標記嵌入和文字嵌入，輸入給 LLaMA-2 來生成最後的響應，整體推理過程如下：

表示用於提取外觀特徵的 <VIDEO> 輸入
表示用於提取運動特徵的 <VIDEO> 輸入，表示運動提取器
和分別表示原始影片理解網路和運動理解網路，架構由一個 EVA-CLIP 和一個預訓練的 Video Q-Former 組成
和表示對於影片和運動的可學習的投影網路，旨在將視覺（影片和運動）嵌入投影到語言特徵空間
表示凍結的文字標記到嵌入的投影，旨在使文字資訊可以輸入到 LLaMA-2 中
⊕ 表示組合輸入 prompt: “Here is the input video embedding: <VIDEO_EMBEDDING> and motion embedding <MOTION_EMBEDDING> in different frames, please help me to <DESCRIBE_VIDEO> | .” 其中 <DESCRIBE_VIDEO> 是影片描述生成的問題類別，<QUESTION> 是影片問答的問題類別