低照度影像增強是影像處理的重要任務。目前許多深度學習方法被用於低照度影像增強任務。合理設計的損失函式對於提升深度增強方法的效能尤為重要。本文分析現有的深度低照度影像增強方法的損失函式。根據對資料的依賴，我們將這些函式分為監督與非監督兩類來討論。
低照度影像是由於拍照時區域性或全域性曝光不足而產生的影像。除了暗夜外，背光、非均勻光照、陰影等條件都可能導致低照度影像的產生。這些影像上曝光不良區域往往不能呈現良好的細節，從而影響監控、目標檢測或自動駕駛等下游機器視覺任務。
因此，低照度影像增強是影像處理的基礎問題。一個經典的增強方法是直方圖均衡方法。許多影像處理工具如GIMP都提供該方法的實現。另一類經典的增強方法基於Retinex模型的方法。這類方法是對成像物理過程的近似，將影像分為光照和反射射部分，從影像中恢復的反射部分作為增強的結果。
近年來，基於深度學習的低照度影像增強研究得到了廣泛的關注[2]。這些方法將增強過程看作一個由深度神經網路定義的變換函式，實現輸入低照度影像到輸出增強影像的變換。為確定合適的變換函式，深度方法需要首先最佳化深度網路的引數，即模型訓練。
眾所周知，損失函式是訓練深度模型的重要一環。損失函式的定義與具體的任務相關。為構建良好的深度低照度增強方法，我們需要深入理解低照度影像特性，並定義相應的損失函式。
由於低照度影像的特殊性，學者們開發了不同的損失函式。同常見的損失函式如均方誤差（MSE）或交叉熵（Cross Entropy）相比，現有深度低照度方法的損失函式更多結合影像在灰度和顏色方面的特點，表現出不同的形式。為方便描述，我們記低照度影像為
，相應良好曝光影像（Ground Truth, GT影像）為
，恢復的增強影像為
。我們儘可能減少公式描述以方便閱讀。
1. Supervised類損失函式
Supervised類的損失函式的計算依賴於預先準備的標記資料（如低照度-GT影像對）。深度低照度增強方法常用的函式如下：
恢復影像
與標記影像
對應畫素間差值的均方，即L2損失函式。該函式與常用的迴歸任務MSE損失函式相同。
與L2函式類似，該函式計算
與GT影像
間畫素差值絕對值的平均。同L2函式相比，L1函式對細節差異更靈敏。
以上函式從畫素級別對比增強影像
與GT影像，而SSIM函式從影像結構與紋理上對比影像
與GT的差異。SSIM是一種影像相似性度量，透過兩影像均值、方程以及影像間協方差來計算差異。
該函式從感知特徵域計算影像
與GT的相似度。感知特徵一般採用預訓練的深度模型VGG來提取，即影像經過VGG在各卷積層的啟用作為特徵。該函式從視覺特性上來衡量影像質量，增強的影像更符合人眼感覺。
基於生成模型的方法也在低照度影像增強中得到應用，生成模型產生的增強影像
應儘可能與參考(GT)影像不可區分。一般可採用對抗生成的方式構建生成模型，即同時訓練生成模型G和與之對應的判別器D，相應的損失函式即對抗損失函式。具體來看，生成的結果
要儘可能使得D無法判斷，而D本身要儘可能區分
與GT影像
。一種典型的對抗損失函式可表示為[1]：
注意上述公式為體現一般深度訓練中的多樣本均值計算。
在生成模型類方法中，我們從隨機的角度考慮增強影像
的分佈。因此我們可以利用K-L散度定義度量增強影像
與GT影像機率分佈上的差異。記p為機率分佈函式，一種K-L損失函式可定義為[1]：
Unsupervised類的損失函式計算不依賴於既有的增強影像，透過計算增強後圖像特徵、或者低照度影像和增強的影像間的關係來計算損失函式。這類定義考慮了自然影像的各種先驗，並利用影像自身計算特徵來表達。常用定義如下：
自然影像內容變化是平緩的。因此我們可以把最小化增強影像
的梯度作為代價函式，即最小化影像
的總變分（total variation，TV)。因此平滑損失函式也稱為TV Loss。對於彩色影像，可以在顏色通道上分別計算總變分，並最小化各通道總和。TV函式在傳統迭代影像重建中也有著廣泛應用。
良好曝光的自然影像的平均灰度值往往相對固定的常數，比如[0,1]區間取值的自然影像的平均灰度一般在0.6左右。利用這一特性，我們可以分塊計算增強影像
的灰度均值，並計算每塊與常數c差值。曝光損失函式則定義為所有塊差值的均值。這一函式僅考慮增強影像
的特性，與低照度影像
和GT影像
無關。
為儲存視覺上的一致性，增強影像
區域性區域的灰度變換與對應低照度影像
的區域性變換應該是一致的。也就是說，原影像一個區域灰度變化小，則對應增強影像區域相對灰度變化也要小，反之亦然。
我們可以定義loss函式來引入這個先驗。一種簡單的定義是對比增強前後影像鄰域變化的差值總和，然後計算所有畫素上該值的均方。當然也可以根據實際應用而設計其它合適的函式。
色彩平衡也稱灰度世界假定，即一般情況下自然影像各顏色通道的均值應該是平衡的，整體是中性色（灰色）。很自然，一種色彩平衡損失函式可以簡單定義為先計算不同通道均值的差值，然後最小化這些差值的平方和。
可以看出，深度低照度增強方法中，不同損失函式的依賴條件和適用場景是不同的。對於有標記資料集的supervised的增強實現，可以同時整合supervised和unsupervised型別的損失函式來訓練模型。如果只有低照度影像集，則可利用先驗的unsupervised類函式來訓練模型[3]。
事實上由於低照度影像對應的良好曝光影像往往不容易獲得。在有些應用場景下，同一成像條件的低照度影像僅有一張。如何從單張影像得到增強的影像是一個有挑戰的工作。因此充分挖掘低照度影像成像和內容的特點，構造更好的unsupervised類的函式能夠更好的適用於複雜條件下低照度影像的增強。
此外，許多低照度影像同時也存在噪聲汙染，如果單純增強影像可能會放大噪聲，反而降低了增強影像的視覺質量。對於這類問題，我們需要針對降噪和影像增強等多個目標設計聯合最佳化函式。
本文總結了現有深度低照度影像增強方法中各類損失函式的定義，分析了這些函式與影像特徵的關係。同時，本文還探討了不同任務中各類損失函式的應用。透過這些分析，我們可以根據實際低照度影像任務中的成像和影像特點，設計更有針對性的損失函式，從而提升深度增強方法的效能。
[1] K.Jiang, et.al., Degrade is Upgrade: Learning Degradation for Low-light ImageEnhancement, arXiv:2103.10621.
[2] C.Li, et.al., Low-Light Image and Video Enhancement Using Deep Learning: A Survey,arXiv:2104.10729.
[3] C.Guo, et.al., Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement,arXiv:2001.06826.
壁仞科技研究院作為壁仞科技的前沿研究部門，旨在研究新型智慧計算系統的關鍵技術，重點關注新型架構，先進編譯技術和設計方法學，並將逐漸拓展研究方向，探索未來智慧系統的各種可能。壁仞科技研究院秉持開放的原則，將積極投入各類產學研合作並參與開源社群的建設，為相關領域的技術進步做出自己的貢獻。
