點選下方卡片，關注“CVer”公眾號AI/CV重磅乾貨，第一時間送達近日，清華大學，香港中文大學（深圳）等單位聯合發表了一篇在對抗機器學習領域中黑盒攻擊場景下的論文，已順利被CVPR 2022接收。透過遷移一部分替代模型的條件對抗分佈（CAD）的引數，同時根據對目標模型的查詢學習剩下未遷移的引數，所提出的方法可以在任何新的正常樣本上調整目標模型的 CAD以提高攻擊效能。
論文標題: Boosting Black-Box Attack with Partially Transferred Conditional Adversarial Distribution收錄會議: CVPR 2022論文連結: https://openaccess.thecvf.com/content/CVPR2022/papers/Feng_Boosting_Black-Box_Attack_With_Partially_Transferred_Conditional_Adversarial_Distribution_CVPR_2022_paper.pdf程式碼連結: https://github.com/Kira0096/CGATTACK
1 問題背景
隨著深度神經網路 (DNN)被廣泛的應用於現實任務，其所帶來的安全隱患也引起了業界和學界的重視，其中黑盒攻擊無疑是最受關注的問題之一。黑盒攻擊中，攻擊者只能透過被攻擊的 DNN 模型返回的查詢反饋（query feedback）獲取資訊進而展開攻擊，而模型引數和訓練資料集等其他資訊是未知的。然而，如果只利用查詢反饋，在有限的查詢預算下很難達到較高的攻擊成功率。為了提高黑盒攻擊效能（包括攻擊成功率和查詢效率），一種有效方法是利用一些白盒替代模型 (surrogate model) 和目標模型（即被攻擊模型）之間的對抗遷移性。然而，由於替代模型和目標模型的模型架構和訓練資料集之間可能存在差異（被稱為 surrogate bias）。因此，如果盲目地全然採用替代模型的資訊來代替目標模型，會對攻擊產生負面影響（作者在文中用實驗結果特別論證瞭如果surrogate biases過大，所帶來的負面影響是確實存在的）。
為了解決這個問題，本論文透過開發一種對抗遷移性的新機制，提出了一種新的黑盒攻擊方法。透過遷移一部分替代模型的條件對抗分佈（CAD）的引數，同時根據對目標模型的查詢學習剩下未遷移的引數，所提出的方法可以在任何新的正常樣本上調整目標模型的 CAD。對基準資料集的廣泛實驗和對真實世界 API 的攻擊證明了所提出方法的卓越攻擊效能。
2 方法介紹
2.1 總體框架
下圖是本工作整個攻擊流程的示意圖：
首先，我們藉助Score-based black-box attack中的Evolutionary Strategy作為攻擊演算法的基本思路。將替代模型上訓練得到的對抗噪聲分佈的部分引數遷移到對目標模型的攻擊流程中直接利用（如下圖(b)中的綠色虛線箭頭），而剩下一部分引數則是透過對目標模型進行查詢後根據得到的反饋來進行更新（如下圖(c)中的黃色箭頭）。如此更新迭代，執行Evolutionary Strategy的攻擊策略，最後達到攻擊成功的目的。
2.2 攻擊策略：Evolutionary Strategy
Evolutionary Strategy是一種黑盒攻擊策略，屬於Score-based black-box attack。總的來說，該策略可以概括為透過對某個已知分佈進行若干次取樣得到對抗噪聲以施加在被攻擊的樣本上，將此被施加對抗噪聲的樣本在目標模型上進行查詢後根據反饋資訊來更新該分佈的引數，透過不斷的迭代最佳化，達到最終攻擊成功的目的。
最簡單的分佈可以採用高斯分佈，後續也有很多工作採用了其他分佈來實現更有效的攻擊演算法。在本工作中，我們採用了CAD (conditional adversarial distribution)作為取樣噪聲的分佈。CAD可以刻畫出在高維的樣本空間內，選定某個樣本點後，對抗噪聲的機率分佈，以此可以進行取樣。為了得到這樣的分佈，我們採用了Glow模型的框架。
2.3 Glow模型
Glow模型是建立在標準化流(Normalizing Flow)的基礎上的，標準化流可以理解成是一系列可逆函式的複合，能夠將簡單分佈(如高斯分佈)變換成複雜分佈（如上文提到的CAD），且該變換是完全可逆的。
若用 代表對抗噪聲， 代表高斯噪聲，則透過標準化流的變換（用下式表示）和Glow模型的學習和訓練，高斯噪聲可以變換成對抗噪聲，進而得到所需的CAD。
其中為網路輸入, 為層c-Glow模型的引數， 和 為超參，具體的變換操作可以參考原論文中的細節，在此不一一贅述。
值得注意的是，作者沒有直接對對抗噪聲進行建模，即 ， 而是引入樣本 建模成 的條件分佈 。這樣能夠更充分地利用樣本資料的資訊，能夠對攻擊帶來幫助。
根據Glow模型和標準化流的設定，由此可以得到log-liklihood函式。
這樣就將CAD作為Evolutionary Strategy中的分佈，進行後續的攻擊流程。
2.4 目標模型的CAD
如何透過訓練得到目標模型的CAD從而實現攻擊呢？本文做出了一個假設：一個模型生成的對抗噪聲對另一個模型可能也有對抗性，從而假設不同模型的對抗噪聲分佈是相似的。本論文透過大量實驗驗證了這個假設。基於這個假設，我們可以在替代模型上訓練CAD，再將訓練得到的CAD遷移到目標模型上，執行Evolutionary Strategy的攻擊。於是，現在需要解決的問題是如何在替代模型上訓練得到CAD。
Glow模型是透過maximum log-liklihood （MLL）的方式學習引數的，但在黑盒攻擊的場景裡，MLL的方法似乎並不可行。原因在於MLL需要大量的樣本作為訓練資料，而在現實場景下，所需的訓練資料對應的是對抗噪聲。一般來說，即使是對替代模型進行攻擊而得到所需的對抗噪聲，其成本也是較為高昂的。因此，短時間內獲得大量的對抗噪聲作為MLL的訓練資料是不現實的。於是，我們考慮以縮小兩個分佈之間的KL散度為目標，用Energy-based model計算得出的分佈，去近似Glow模型的分佈。在用Energy-based model計算分佈時，所需要的計算樣本完全可以是一般的噪聲，這樣便大大降低了訓練成本。
因此，我們在替代模型上定義了一種Energy-based Model
做近似處理後得到下式：
其中 表示對抗損失函式，具體定義可以參見原文。
基於上述模型，我們採取下列流程在替代模型上訓練得到CAD：1. 在樣本鄰域內隨機抽取大量的噪聲（任何噪聲都可以，並不一定是對抗噪聲）；2. 對樣本施加噪聲後傳入替代模型進行查詢，得到反饋和對抗損失函式，並計算得到 ；3. 最小化 和 之間的KL Divergence。
上述的流程可以用下圖來概括：
透過這樣的訓練過程可以在替代模型上得到引數。
2.5 CG-Attack
在替代模型上訓練得到的即是在前文提到的需要學習的CAD，在後續以Evolutionary Strategy為基本攻擊策略所設計的攻擊演算法中，將作為search distribution來取樣噪聲。
根據前文提到的，作者提出了一個假設並用大量的實驗驗證了該假設是正確的：一個模型生成的對抗噪聲對另一個模型可能也有對抗性，從而假設不同模型的對抗噪聲分佈是相似的。目前已經有了替代模型上的CAD，則根據假設，可直接將替代模型上的CAD遷移到目標模型上作為目標模型的CAD。
需要注意的是，本文在此處並不是將替代模型的CAD全部遷移到目標模型上，而是僅僅遷移部分引數，而剩餘的引數將在攻擊過程中不斷更新，具體流程如下圖所示
可以看到，在CG-Attack攻擊中，被遷移的引數只有, 而剩餘的引數則是在攻擊過程中根據查詢的反饋結果進行更新。
3 實驗結果
下圖展示了CG-Attack的主要實驗結果。可以看出，CG-Attack的攻擊效果是較為顯著的，在untargeted場景下，甚至只需查詢1次即可攻擊成功。除此之外，CG-attack在ImageNet和 GoogleAPI等開放場景下的攻擊表現也是非常顯著的。更多結果可以參見論文中的實驗結果和分析。
4 總結
這篇文章的主要思路是採用score-based attack中常見的Evolutionary Strategy來設計攻擊演算法，其創新亮點在於藉助Glow模型和一種新穎的部分引數遷移機制訓練出 Evolutionary Strategy 所需的search distribution（本文對應Conditional Adversarial Distribution, i.e CAD）來實現攻擊演算法。最後的實驗結果表明，該方法的攻擊效果顯著，能夠適用於較為廣泛的場景。
CVPR/ECCV 2022論文和程式碼下載
後臺回覆：CVPR2022，即可下載CVPR 2022論文和程式碼開源的論文合集
後臺回覆：ECCV2022，即可下載ECCV 2022論文和程式碼開源的論文合集
後臺回覆：Transformer綜述，即可下載最新的3篇Transformer綜述PDF
目標檢測和Transformer交流群成立
掃描下方二維碼，或者新增微信：CVer222，即可新增CVer小助手微信，便可申請加入CVer-目標檢測或者Transformer 微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要備註：研究方向+地點+學校/公司+暱稱（如目標檢測或者Transformer+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群
▲掃碼或加微訊號: CVer222，進交流群
CVer學術交流群（知識星球）來了！想要了解最新最快最好的CV/DL/ML論文速遞、優質開源專案、學習教程和實戰訓練等資料，歡迎掃描下方二維碼，加入CVer學術交流群，已彙集數千人！
▲掃碼進群
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看
