基於強化學習之高速公路路肩流量管制策略
114年08月11日
【本篇報導由資訊工程學系 賀耀華教授研究團隊提供】 為了緩解高速公路上交通擁堵問題，目前的交通控制系統使用了可變速限、流量控制和交通信號燈等措施。其他緩解交通擁堵的策略還包括通過在匝道上設置交通信號燈來控制進入高速公路的車輛數量，並通過開放路肩來擴展車道數量。儘管開放路肩來消化交通擁堵似乎非常有效，但現行系統僅在固定時間表上開放路肩。在本研究中，研究團隊提出了一種自適應路肩交通控制的強化學習方法（Reinforcement Learning Approach for Adaptive Road Shoulder Traffic Control, ARSTC），可動態調整路肩的開閉時間。不同於傳統的靜態排程方法，所提出的ARSTC技術能夠適應不同的交通情況，並做出合適的決策。本研究將交通部公開的交通數據導入城市交通模擬系統，並以國道一號南下方向第86至91公里路段為模擬範圍（如圖1），對該技術進行驗證與模擬分析。結果顯示，ARSTC能夠通過自適應控制路肩的開放時間和交通流量來減少交通擁堵時間與路肩車道行駛的車輛數量。研究團隊提出的技術（ARSTC）在利用路肩緩解交通擁堵的同時，還能提供更安全、更高效的駕駛條件。 人們常在假期或節慶期間與家人或朋友一同開車出遊，導致各地交通狀況與平日大不相同，因此難以準確預測假期或特殊事件的實際交通情況。為應對這一現象，許多國家開發了即時高速公路車輛監控系統，如臺灣交通部的即時交通資訊系統，讓駕駛者能夠在出發前或行駛途中調整路線。然而，儘管政府採取了多種對策，如匝道控制開放路肩和國慶假日免收通行費等措施，但根據交通部的數據顯示，這些措施在改善交通狀況方面的成效有限，甚至有時車輛平均速度低於平時的一半，顯示現行策略在高流量情境下仍有改善空間。 近年來，隨著物聯網技術的發展，臺灣政府與民間合作，推動了「民生公共物聯網」計畫，旨在運用科技協助政府與民眾共同面對環境變化所帶來的挑戰，涵蓋水資源、空氣品質、地震與防救災等領域。其中一項由交通部發布的關鍵資訊是即時交通資訊，並在多個路段安裝了電子告示牌，向路過車輛傳播當前的交通狀況。隨著智能車輛的普及，未來有望通過車聯網技術，根據即時交通資訊進行自動動態路線規劃。除電子告示牌外，目前常見緩解交通擁堵的其他措施包括匝道控制和開放路肩。儘管開放路肩能有效疏導交通，現行系統只在固定時間開放，效果有限。開放時間過晚或過短無法充分緩解擁堵，而過早開放則增加事故風險，特別是路肩較窄或車速差異過大。一旦路肩發生事故，救援難度增加，進一步加劇交通擁堵。 因此，錯誤的路肩開放時間可能增加事故風險，而未能適時開放則無法有效緩解擁堵。雖然開放路肩的目的在於提高通行效率，但若時機掌握不當，可能引發交通安全問題。要使路肩開放既安全又有效，必須精確掌握其開放時機與持續時間。本研究提出了一種基於強化學習的自適應路肩交通控制（ARSTC）方法（如圖2）。該方法利用強化學習技術，在考慮交通流量、車速、道路使用率等因素的基礎上，動態調整路肩的開放時間，以提升交通疏導的效率。該方法利用臺灣交通部提供的即時交通資訊。使用路肩作為額外車道，對於在節假日期間大量車輛湧入高速公路的情況下緩解交通流量具有重要作用。ARSTC的目標是在必要時高效地開放路肩，以改善交通流量並降低事故發生的概率。 通過強化學習，ARSTC基於Q-Learning訓練模型（如圖3），結合歷史交通數據和當前交通狀況，決定是否開放路肩。實驗結果顯示，ARSTC能有效減少路肩車道的整體交通流量16%，並將出發延遲（即交通擁堵）降低6.74%。因此，ARSTC不僅能減少交通擁堵，還能減少使用路肩車道的車輛數量，從而降低事故發生的概率。通過自適應控制，ARSTC能夠根據即時交通狀況，確定何時開放路肩及其持續時間，從而安全且有效地緩解交通擁堵。研究團隊希望此策略能應用於易壅塞路段或都會區道路，提升交通流量管理的效率並保障道路安全。 未來，ARSTC可擴展應用於控制可逆車道或共乘車道（高乘載車道，HOV車道）。在調整可逆車道方向時，將需要對雙向交通狀況進行建模。此外，ARSTC未來還可與其他緩解交通擁堵的解決方案結合，如控制交通信號燈、調整限速等，以進一步減少擁堵。隨著車輛網（V2V）和智能車輛的發展，ARSTC有望整合進下一代智能交通系統，以提升都市道路系統的彈性與韌性。 自Google衛星地圖的影像，顯示國道一號南下方向第86至91公里路段（由左至右）。 圖1：國道一號竹北路段地圖：圖中從左至右為南向 圖2：ARSTC流程圖 圖3：Q Learning整體實驗與驗證流程架構 原文出處： Ho, YH., Cheng, TC. Adaptive road shoulder traffic control with reinforcement learning approach. Neural Comput & Applic(2023). https://doi.org/10.1007/s00521-023-09134-3