清除天空：基於深度學習之單張影像內雨紋去除技術

111年06月09日

【本篇報導由電機工程學系  康立威副教授研究團隊提供】 　　數位影像已於我們的生活中被廣泛的應用，例如：由室外監視器或行車紀錄器所拍攝的影像中進行人臉辨識、車牌辨識或其他物件辨識及追蹤，可用於環境安全監控或行為模式分析等相關應用。另外，近年來由於新興自駕車或安全輔助駕駛技術的發展，數位影像更是被廣泛使用於車輛周邊場景分析及鄰近車輛或行人之行為分析進而達成行車安全。然而，於惡劣天候下室外拍攝之數位影像往往因為起霧、下雨或下雪的影響而使得高度依賴數位影像的工作 (例如：影像內的物件辨識及分析) 效能下降。在本研究中，將探討雨天所拍攝之數位影像之雨紋去除及如何使用現今最熱門之人工智慧技術-深度學習 (deep learning) 來解決此問題。   　　數位影像已於我們的生活中被廣泛的應用，例如：行車紀錄器所拍攝之數位影像內之物件偵測相關應用。然而，當數位影像受到惡劣天候影響時，往往使其相關應用工作之效能大打折扣。以圖一為例，圖一(a)中的方框 (黃/藍方框) 為希望可以偵測到的物件 (亦即ground truths)、圖一(b)及圖一(c)為分別使用基於深度學習之物件偵測技術-Faster RCNN及YOLO之偵測結果。由圖一可以得知，惡劣天候對於基於數位影像之相關應用之效能影響甚鉅，即使如Faster RCNN及YOLO此等優異之物件偵測技術亦無法在下雨場景正常運作。另外，在我們過去的數位影像除霧研究中，研究團隊亦證實了在除霧後再對影像進行物件偵測會有較佳效能，如圖二所示。在本研究中，將深入探討數位影像之去雨技術，並提出基於深度學習的方法來解決此問題。 圖一：基於行車紀錄器數位影像之雨中物件偵測：(a) 理想中之偵測結果；(b) 基於Faster RCNN演算法之偵測結果；及(c) 基於YOLO演算法之偵測結果。本資料來源為：M. Hnewa and H. Radha, “Object detection under rainy conditions for autonomous vehicles: A review of state-of-the-art and emerging tech-niques,” IEEE Signal Process. Mag., vol. 38, no. 1, pp. 53-67, 2021。   　　在單張數位影像中去除雨紋的研究方面，本團隊早在2012年便提出國際學術界第一個雨紋去除方法。當時深度學習技術尚未蓬勃發展、亦無針對深度學習設計之電腦硬體且尚無公開之下雨影像資料集可供人工智慧模型訓練。因此，本團隊率先提出基於影像稀疏編碼法 (sparse coding) 及自我學習 (self-learning) 的影像分割 (image decomposition) 之去雨架構，發表於2012年的IEEE Transactions on Image Processing (已被引用652次)。接著本團隊陸續導入影像區域相似特性 (local similarity) 及基於視覺注意模型 (saliency model) 之非雨區域保護機制，將本架構進一步延伸且分別發表於2014年的IEEE Transactions on Multimedia (已被引用230次) 及IEEE Transactions on Cir-cuits and Systems for Video Technology (已被引用147次)。在2017年，Columbia University的Prof. John Paisley研究團隊利用本團隊的去雨架構並導入深度學習技術發表了第一個基於深度學習的去雨方法。接著本團隊開始思考如何利用深度學習架構及現有公開下雨影像資料集來達成更佳的去雨效能。   圖二：基於數位影像之霧中物件偵測：(a) 直接於霧中使用基於深度學習之YOLO v3物件偵測演算法之偵測結果；及 (b) 以本團隊研發之深度學習除霧演算法先進行除霧後，再使用YOLO v3物件偵測演算法之偵測結果 (效果較佳)。本資料來源為本團隊過去發表之：C.-H. Yeh, C.-H. Huang, and L.-W. Kang*, “Multi-scale deep residual learning-based single image haze removal via image decomposition,” IEEE Trans. Image Process., vol. 29, pp. 3153–3167, 2020 (與臺師大電機工程學系葉家宏教授研究團隊合作，本文作者為通訊作者)。   　　在本研究中，研究團隊捨棄過去的影像分割架構，提出充分利用深度學習網路來學習雨的紋路。本方法主要包含三個模組：(1) Residual Dense Module-整合現有殘差及稠密的網路架構達成更能保留學到的影像特徵及維持網路的低複雜度；(2) Dual Attention Module-整合空間域  (spatial) 及頻道域 (channel) 之知覺注意模型，用以精準學習影像內之下雨紋路；及 (3) Multi-Scale Feature Aggrega-tion Module-用以整合不同尺度之影像特徵。基於本深度學習架構，研究團隊已證實本方法優於現有的state-of-the-art深度學習架構 (如圖三所示) 且正研議將其應用於基於視覺之物件偵測及行為分析相關應用。 圖三：(a) 下雨影像；利用下列深度學習網路之去雨結果：(b) DDN (CVPR2017)；(c) SIRR (CVPR2019)；及(d) 本團隊提出之SSDRNet (Sequential dual attention-based Single image DeRaining deep Network) (TIP2020)。   原文出處： C.-Y. Lin, Z. Tao, A.-S. Xu, L.-W. Kang*, and F. Akhyar, “Sequential dual attention net-work for rain streak removal in a single image,” IEEE Trans. Image Process., vol. 29, pp. 9250-9265, 2020 (IF = 10.856, Rank = 5.64%, 本文作者為通訊作者).

「遷移學習」建立跨領域深度學習模組

110年02月05日

【本篇報導由資訊工程學系 侯文娟博士研究團隊提供】 　　近年來人工智慧之深度學習模式深受注目，我們的研究即以此技術應用於生物事件辨識與擷取，並以遷移學習的方法得以減少語料庫建置的需求。 　　生物文件中複雜的生物過程如果以結構性的方式表達(例如：調節網路)，往往比文字描述更為清楚，故自動化地從生物文件中產生調節網路，並標註生物事件及事件-事件或事件-實體等關係，為生物學家所重視的議題，是以我們的研究目標為發展表示調節網路所需的生物事件及關係擷取系統。此外，機器學習方法需大量語料庫，此語料庫常是人工建置，非常耗時耗力，有鑑於此，在這個研究當中我們提出兩種學習方法，從兩個獨立不同的語料庫建置共同資料集，並以深度學習模組發展多重領域之事件及關係擷取系統，目的在於可使用單一系統處理多重領域問題，如此可以節省人工建置語料庫所需的大量時間與人力。   　　系統生物學可辨認生物系統不同部分之交互作用結果，此結果稱為事件，事件與實體、事件與事件間可形成關係。事件擷取及標註是近年生物家重視的問題，其中從生物文件中產生基因調節網路之議題則深受研究者重視，主要是複雜的生物過程若以結構性方式表達，會比用文字描述更清楚。然而真實世界中具有大量的生醫相關文件，研究者不可能逐篇仔細地閱讀所有的文章，因此文件探勘常常使用機器學習方法，但通常供機器學習方法學習的語料庫往往是人工產生的。 　　傳統上，以機器學習方法建立的訓練模組和測試領域是相同領域，如果將領域A的訓練模組用於領域B，往往預測效能會大幅降低。例如圖一，訓練時是老鼠的基因資料，測試時用以辨認老鼠基因，正確率可達84.1%，但是如果訓練的基因資料只能取得果蠅資料時，這樣以果蠅資料建立的模組用在辨認老鼠基因，正確率可能就會大幅下降(如圖所示為58.1%)。   圖一：訓練資料與測試資料相同/相異，產生的效能不相同 圖二：單一領域學習方式與跨領域學習方式之圖示   　　如前所述，因為生醫文件內容複雜，使用自然語言處理及機器學習方法擷取生物事件具有相當的挑戰性，為了自動化標註及擷取事件，常使用機器學習方法。然而，事件擷取與標註方法及相關資源的研究至目前為止幾乎都集中在單一領域。本研究提出使用遷移學習及結構對應學習方法，從兩個不同領域產生共同資料集，並建置深度學習事件擷取系統，我們的研究提出的步驟為(1)從兩個獨立的事件擷取任務產生資料集，(2)使用分類模組從資料集學習特徵樣式。此法重要貢獻為(1)自動建置共同資料集，節省人工建置代價，(2)訓練和測試集可為不同領域。 　　總述而論，考量人工標註文件耗時耗力，本研究提出此學習方法，從兩個獨立任務建立資料集，以深度學習模組處理事件及關係擷取問題。 

穿雲破霧–AI影像除霧

109年06月02日

【本報導由電機工程學系　葉家宏教授研究團隊提供】 　　今早出門，遠方景色看來是否又是一片「霧茫茫」呢？空氣中除了因氣象而產生的霧氣會造成視線不佳，隨著工業發展，工廠與發電廠排放的大量懸浮汙染物也使能見度降低而造成我們生活上的不便，甚至帶來危險，如汽車駕駛易受霧氣影響而發生交通意外。而霧氣也會對攝影機等光學感測器帶來負面影響，降低影像對比度與能見度，因而降低後續應用的效能。建構於自駕車與監視器等室外電腦視覺系統之相關應用，如事件偵測及分析、物件偵測、追蹤及辨識、場景分析與行車安全輔助等，皆仰賴於所得影像/視訊的品質。因為其深入生活各層面的影響力，生成高品質除霧影像已然成為重要之研究議題。為移除霧氣對影像的影響，葉家宏教授團隊2013年於國際光學頂級期刊Opt. Express發表創新的單張影像除霧方法，此相關技術應用於車載系統；亦在2012年獲得Intel主辦之全國大專院校智慧系統設計競賽—優等獎之殊榮。團隊基於深度學習所開發之單張影像除霧架構也於2019年發表於影像處理領域之國際頂尖期刊IEEE Transactions on Image Processing；此方法兼具高除霧品質與低計算複雜度之特性，市場應用價值可期，如車載、自駕車與視訊監控系統等；目前團隊亦規劃將此前瞻技術轉移至產業界，以進一步展現產品「看穿」濃霧的實力，讓我們的生活更安全便捷。     　　今早出門，遠方景物看起來是否又是一片「霧茫茫」？霧由許多小水滴在空中凝結漂浮組成，除清晨或山區常見的「霧」，當汙染嚴重且大氣條件適合時，水蒸氣附著在懸浮微粒上，產生由「霧+汙染物」組成的骯髒「霧霾」。由於細懸浮微粒PM2.5具強烈的光散射效應，當相對濕度不高時，容易散射或吸收太陽光，形成霧濛濛的「霾」，使空氣能見度大幅下降。 　　除了因天氣現象產生的「霧」，隨著工業發展，工廠與發電廠排放的懸浮汙染物大量增加；霧氣瀰漫的頻繁發生不但降低能見度，更帶來生活上的不便甚至造成危險，如汽車駕駛容易受霧氣影響發生意外。此外，霧氣對攝影機等光學感測器也會造成不良影響，使影像/視訊呈現灰白色調，對比度與能見度下降，進而降低後續相關應用的效能。建構於自駕車、監視器等室外電腦視覺系統之相關應用如事件偵測及分析、物件偵測、追蹤及辨識、場景分析與行車安全輔助等，皆仰賴所得影像/視訊之品質。含霧影像/視訊資料對壓縮效率有不良影響，亦影響傳輸及儲存的效率。因為其深入生活各層面的影響力，高品質除霧影像的生成已成為熱門且重要之研究議題。 　　葉家宏教授團隊2013年於國際光學頂級期刊Optic Express [SCIE 2013 IF=3.525, Ranking=7.2%]發表創新的單張影像除霧方法，克服一般方法僅使用一個暗通道先驗模型而導致的細節失真缺點，首先提出使用兩個模型(暗通道先驗與亮通道先驗)的架構，除霧效果明顯優於其他演算法，至今GS引用次數已達80次，JCR則為47次。此外團隊也積極將除霧技術應用於車用系統上，相關成果於2012年獲得Intel主辦之全國大專院校智慧系統設計競賽—優等獎之殊榮。 　　近年來深度學習已成為產學界的熱門議題，在電腦視覺、語音辨識、自然語言處理、無人駕駛車與機器人等領域都有爆炸性成長。葉教授團隊開發出基於深度學習之單張影像除霧架構；不同於前沿方法直接學習含霧與除霧影像間的關係，計算量龐大，此法將一含霧影像分割成基礎 (base) 及細節 (detail) 後就此二部分訓練不同的深度學習網路架構。實驗結果證實所提之多尺度殘差學習之單張影像除霧(MSRL-DehazeNet, multi-scale residual learning for single image dehazing) 架構可生成高品質除霧影像，有效解決色偏問題；在除霧效能及計算複雜度方面皆優於或類似於現有前沿之單張影像除霧方法。 　　本創新單張影像除霧研究於2019年12月發表於計算機、影像處理與人工智能領域之頂尖期刊IEEE Transactions on Image Processing [SCIE 2018 IF=6.790, Ranking=7%]，在學術上備受肯定。此外其兼具高除霧品質與低計算複雜度之特性，實具車用、無人車駕駛與視訊監控等系統之應用價值，目前團隊亦規劃將此技術轉移至產業界，實現產品「看穿」濃霧之實力。