清除天空：基於深度學習之單張影像內雨紋去除技術
111年06月09日
【本篇報導由電機工程學系 康立威副教授研究團隊提供】 數位影像已於我們的生活中被廣泛的應用，例如：由室外監視器或行車紀錄器所拍攝的影像中進行人臉辨識、車牌辨識或其他物件辨識及追蹤，可用於環境安全監控或行為模式分析等相關應用。另外，近年來由於新興自駕車或安全輔助駕駛技術的發展，數位影像更是被廣泛使用於車輛周邊場景分析及鄰近車輛或行人之行為分析進而達成行車安全。然而，於惡劣天候下室外拍攝之數位影像往往因為起霧、下雨或下雪的影響而使得高度依賴數位影像的工作 (例如：影像內的物件辨識及分析) 效能下降。在本研究中，將探討雨天所拍攝之數位影像之雨紋去除及如何使用現今最熱門之人工智慧技術-深度學習 (deep learning) 來解決此問題。 數位影像已於我們的生活中被廣泛的應用，例如：行車紀錄器所拍攝之數位影像內之物件偵測相關應用。然而，當數位影像受到惡劣天候影響時，往往使其相關應用工作之效能大打折扣。以圖一為例，圖一(a)中的方框 (黃/藍方框) 為希望可以偵測到的物件 (亦即ground truths)、圖一(b)及圖一(c)為分別使用基於深度學習之物件偵測技術-Faster RCNN及YOLO之偵測結果。由圖一可以得知，惡劣天候對於基於數位影像之相關應用之效能影響甚鉅，即使如Faster RCNN及YOLO此等優異之物件偵測技術亦無法在下雨場景正常運作。另外，在我們過去的數位影像除霧研究中，研究團隊亦證實了在除霧後再對影像進行物件偵測會有較佳效能，如圖二所示。在本研究中，將深入探討數位影像之去雨技術，並提出基於深度學習的方法來解決此問題。 圖一：基於行車紀錄器數位影像之雨中物件偵測：(a) 理想中之偵測結果；(b) 基於Faster RCNN演算法之偵測結果；及(c) 基於YOLO演算法之偵測結果。本資料來源為：M. Hnewa and H. Radha, “Object detection under rainy conditions for autonomous vehicles: A review of state-of-the-art and emerging tech-niques,” IEEE Signal Process. Mag., vol. 38, no. 1, pp. 53-67, 2021。 在單張數位影像中去除雨紋的研究方面，本團隊早在2012年便提出國際學術界第一個雨紋去除方法。當時深度學習技術尚未蓬勃發展、亦無針對深度學習設計之電腦硬體且尚無公開之下雨影像資料集可供人工智慧模型訓練。因此，本團隊率先提出基於影像稀疏編碼法 (sparse coding) 及自我學習 (self-learning) 的影像分割 (image decomposition) 之去雨架構，發表於2012年的IEEE Transactions on Image Processing (已被引用652次)。接著本團隊陸續導入影像區域相似特性 (local similarity) 及基於視覺注意模型 (saliency model) 之非雨區域保護機制，將本架構進一步延伸且分別發表於2014年的IEEE Transactions on Multimedia (已被引用230次) 及IEEE Transactions on Cir-cuits and Systems for Video Technology (已被引用147次)。在2017年，Columbia University的Prof. John Paisley研究團隊利用本團隊的去雨架構並導入深度學習技術發表了第一個基於深度學習的去雨方法。接著本團隊開始思考如何利用深度學習架構及現有公開下雨影像資料集來達成更佳的去雨效能。 圖二：基於數位影像之霧中物件偵測：(a) 直接於霧中使用基於深度學習之YOLO v3物件偵測演算法之偵測結果；及 (b) 以本團隊研發之深度學習除霧演算法先進行除霧後，再使用YOLO v3物件偵測演算法之偵測結果 (效果較佳)。本資料來源為本團隊過去發表之：C.-H. Yeh, C.-H. Huang, and L.-W. Kang*, “Multi-scale deep residual learning-based single image haze removal via image decomposition,” IEEE Trans. Image Process., vol. 29, pp. 3153–3167, 2020 (與臺師大電機工程學系葉家宏教授研究團隊合作，本文作者為通訊作者)。 在本研究中，研究團隊捨棄過去的影像分割架構，提出充分利用深度學習網路來學習雨的紋路。本方法主要包含三個模組：(1) Residual Dense Module-整合現有殘差及稠密的網路架構達成更能保留學到的影像特徵及維持網路的低複雜度；(2) Dual Attention Module-整合空間域 (spatial) 及頻道域 (channel) 之知覺注意模型，用以精準學習影像內之下雨紋路；及 (3) Multi-Scale Feature Aggrega-tion Module-用以整合不同尺度之影像特徵。基於本深度學習架構，研究團隊已證實本方法優於現有的state-of-the-art深度學習架構 (如圖三所示) 且正研議將其應用於基於視覺之物件偵測及行為分析相關應用。 圖三：(a) 下雨影像；利用下列深度學習網路之去雨結果：(b) DDN (CVPR2017)；(c) SIRR (CVPR2019)；及(d) 本團隊提出之SSDRNet (Sequential dual attention-based Single image DeRaining deep Network) (TIP2020)。 原文出處： C.-Y. Lin, Z. Tao, A.-S. Xu, L.-W. Kang*, and F. Akhyar, “Sequential dual attention net-work for rain streak removal in a single image,” IEEE Trans. Image Process., vol. 29, pp. 9250-9265, 2020 (IF = 10.856, Rank = 5.64%, 本文作者為通訊作者).