使用人工智慧來評估科學論證的自我調節策略
114年01月12日
【本篇報導由科學教育研究所 林志鴻助理教授研究團隊提供】 分析學生在複雜的科學學習過程的自我調節狀態是一項艱鉅的挑戰，主因是訓練評分人員以及評估學生的回答(逐字稿)皆需花費大量的時間。因此，本研究嘗試使用人工智慧(Artificial Intelligence , AI)自動分析學習者的自我調節學習狀態。進一步來說，研究團隊透過AI來辨認學生在自我調節學習中使用的認知與後設認知策略。本研究招募39名參與者，運用放聲思考的方式，蒐集學習者對兩個生物學習主題的評估的科學解釋。錄音資料首先被轉錄成文字稿，由編碼人員進行分類，最後整理出104個文本用來訓練AI模型。AI模型基於長短期記憶(Long Short-Term Memory, LSTM)開發，最後透過量化與質化分析評估AI模型的表現。結果顯示，AI與人工分類間有良好的準確性和一致性。此外，兩個超參數對模型的表現影響不顯著。比較人工分類與AI分類的結果，發現AI分類的準確性會受到句子長度及語句內與時間順序有關的關鍵字(如：以前)影響。本研究亦嘗試解釋人機分類的差異來源，希望能為將來以AI為基礎的自動分類提供更多訊息。 近年來人工智慧(Artificial Intelligence, AI)蓬勃發展，智慧家電、自動車等產品悄悄走近你我的生活中，但你知道這項技術也能應用在教育領域，替老師和學生帶來便利，增進教與學的效率嗎？ 在科學教育中，培育具有科學素養的公民是當前教育核心目標。其中一種教學方式是訓練引導學生基於證據提出科學解釋，並能理性評估證據。但這牽涉到一系列的認知與後設認知過程。具體來說，若學生想要有良好的表現，他們需要主動學習，以及在過程中思考、評估自己為什麼要這樣做、選擇最合適的策略，並自我監控學習的過程以適當調整自己的學習策略。 聽起來很複雜，對吧？教師想要協助學生發展這些能力並有良好的學習成果同樣不容易，因為教師需要能先辨認學生回答中的認知與後設認知策略，再花費大量時間評估學生的學習過程和表現，以調整教學內容或採取補救教學等措施。傳統的評量方式難以有效率的進行此類教學，在時間與資源有限的情況下，教師能做的似乎有限，但是AI的加入或許能改善此困境！例如，學生的報告可利用AI分析，了解自我調節學習(Self-Regulated Learning, SRL)活動的歷程，進而提供有價值的訊息給教師，如辨認認知與後設認知的策略、發現學生的學習困難、並適時提供鷹架輔助，如圖一所示。 圖一：AI工具輔助教師的示意圖 本研究想知道AI是否能協助分析SRL的認知和後設認知策略。研究者先招募一群大學生，讓他們判斷科學解釋的品質，並記錄他們推理、判斷的過程，這些過程由研究人員編碼，標記哪些回應是認知策略，哪些是後設認知策略，同時也替這些策略評分，最後這些由研究人員整理好的結果會作為訓練AI分類器的資料。 稍微介紹一下研究中使用的AI，自然語言處理(Natural Language Processing , NLP)作為其中一個AI的分支，已被成功應用在教育情境。NLP嘗試用類似人類處理訊息的方式來分析和處理書面和口語訊息。這個技術主要被應用在分析簡短、開放式的回應，例如學習者產出的論證、回饋或實驗的結論，使用的語言模型是長短期記憶(Long Short-Term Memory, LSTM)，適用於具有時序性的資料。 研究結果發現AI分類的準確度是可接受的，AI分類的結果和研究人員分類的結果兩者有高度的正相關。然而，研究也發現了兩者之間的差異。例如，AI在判斷有時間先後順序的字詞(如：我之前覺得…)的句子中，兩者之間的關聯性表現不如預期，此外，假如同一段句子中同時包含認知與後設認知策略，AI也會產生辨識的困難。最後是人類分析大量資料的過程會疲倦，影響分類正確性，但相對的，AI不會產生疲倦感，對於進行大量分類工作具有優勢。 總的來說，AI能夠即時自動偵測學生的回答中包含認知或後設認知策略，有助於讓學生能更有效率的進行SRL學習。而LSTM能夠辨認高層次認知和後設認知活動的能力，未來希望AI能應用在不同的科學學習情境(本研究中為生物學習情境)，讓AI作為老師的得力助手。 原文出處：Wang, C. Y., & Lin, J. J. (2023). Utilizing artificial intelligence to support analyzing self-regulated learning: A preliminary mixed-methods evaluation from a human-centered perspective. Computers in Human Behavior, 144, 107721. https://doi.org/10.1016/j.chb.2023.107721