以深度強化式學習演算法控制人形機器人駕駛雙輪載具

114年08月11日

【本篇報導由電機工程學系  Saeed Saeedvand助理教授研究團隊提供】 　　平衡機車對於機器人而言是一項具挑戰性的任務，因其屬於高度動態環境下的非線性控制問題。隨著深度強化學習快速發展，機器人已能執行複雜的控制任務。本研究提出一種深度強化學習演算法，使未經改裝的人形機器人學習操控機車進行平衡及路徑追蹤。本文設計、分析並比較兩種控制策略：經典的比例-積分-微分（PID）控制器，以及基於近端策略最佳化（PPO）演算法的深度強化學習（DRL）控制器，廣泛評估機器人以兩種方法平衡機車的能力。本研究在機車低速情境（2.5、5、10 km/h）下進行多種嚴苛控制測試，同時改變轉向速度（10、20、40 rad/s），評估項目包含無擾動直立平衡、有擾動直立平衡、正弦路徑追蹤及路徑追蹤控制。此外，本研究建立人形機器人與機車系統的3D模型，並在最先進的GPU模擬環境（NVIDIA Isaac Gym）中進行訓練與測試。雖然PID控制器能成功維持平衡，但所提出的深度強化學習方法在最終結果上表現更佳，平均在不同速度下提升約52%，在路徑追蹤控制方面亦具更佳表現。於實體機器人與機車上進行控制命令測試後，證實機器人能完整實現轉向控制速度。   　　逐步增加機器人可習得與執行的技能，是開發通用機器人的關鍵方向。過去已開發出多款運動與娛樂型機器人，包括能滑雪、溜冰、攀岩和變魔術的傑出人形機器人（Iverach-Brereton等，2012；Jeong等，2022；Baltes等，2014）。人形機器人研究的重要特性之一，是人形結構的多功能性，這使得使用未經改裝的通用人形機器人成為研究重點。隨著可執行技能和任務的範圍不斷擴大，機器人將變得更為強大，能以多種方式協助人類。為創造能適應各種環境並完成原本為人類設計任務的機器人，必須賦予其多樣化的互動系統，形成各項獨立技能。 　　在機器人領域中，某些研究方向如工業機器人，已逐年取得顯著進步，然而工業機器人通常針對單一任務設計，難以靈活應用於其他任務或環境。另一方面，機器學習（ML）系統如深度強化學習（DRL）的迅速發展，使研究者能解決長期存在於多領域的挑戰。 　　儘管目前機器人及自動駕駛技術日益進步，但文獻中針對機器人操控雙輪載具（TWV）如機車與自行車的研究尚不多。雙輪載具相較於四輪載具（FWV）在低速時不穩定且靜止時無法控制，因而成為控制與路徑追蹤方面更為困難的問題。為了準確地沿著期望路徑行駛，必須融合平衡與方向控制，且需高度精確地執行轉向與油門指令。這類問題的主要研究領域是人形機器人（Saeedvand 等，2019）。隨著硬體和軟體的顯著改進，人形機器人的性能大幅提升。類似於其他人工智慧領域，深度學習（DL）也極大促進了當前系統的進步（Sünderhauf 等，2018）。雙輪載具尤其在低速時難以由機器人控制。人形機器人因其與人類環境高度相容，有更大潛力與世界互動。 　　本文主要目標是提出一種穩健的深度強化學習演算法，讓大型人形機器人能騎乘市售電動機車。為此，設計、開發並比較兩種控制器（PID與DRL演算法），並在不同速度及擾動下，於平衡與軌跡追蹤任務中進行評估。研究結果顯示，兩種控制器均能成功使機器人與機車系統保持平衡並完成路徑追蹤。機器人學會處理多種轉向速度，展現穩定的平衡控制行為。基於PPO演算法並在先進模擬平台NVIDIA Isaac Gym中訓練的DR控制器，與PID控制器相比，在不同速度與轉向速度下平均提升約52%的性能。實際機器人與機車測試亦證實該控制指令在一定程度上可被實現。 　　未來工作將進行精準匹配的最佳化問題與性能規範的比較研究，對齊兩種控制器的設計與優化流程，提供更全面嚴謹的性能評估，並計畫將模擬成果轉移至成本高昂且具挑戰性的實體機器人大型測試環境中。   原文出處：Baltes, J., Christmann, G., & Saeedvand, S. (2023). A deep reinforcement learning algorithm to control a two-wheeled scooter with a humanoid robot. Engineering Applications of Artificial Intelligence, 126, Article 106941. https://doi.org/10.1016/j.engappai.2023.106941