“原文轉載自:https://hechingerreport.org/kids-chatgpt-worse-on-tests/。研究人員比較了近千名高中生的數學成績。”

人工智能真的能幫助學生學習嗎？

最近在一所高中進行的一項實驗提供了一個警示故事。

賓夕法尼亞大學的研究人員發現，在做數學練習題時使用 ChatGPT 的土耳其高中生與沒有使用 ChatGPT 的學生相比，數學考試成績更差。使用 ChatGPT 的學生在練習題中的正確解題率提高了 48%，但最終學生在考試中成績卻下降了 17%。

第三組學生可以使用經過修改的 ChatGPT，它的功能更像是一個導師。這個聊天機器人的程序設計是在不直接透露答案的情況下提供提示。使用聊天機器人的學生在練習題上的表現非常出色，與沒有任何高科技輔助工具的學生相比，正確率提高了 127%。但在之后的測試中，這些經過人工智能輔導的學生并沒有取得更好的成績。而那些只用老方法--自己做練習題--的學生則與他們的考試成績不相上下。

研究人員將他們的論文命名為 “生成式人工智能會損害學習”，目的是向家長和教育工作者表明，目前免費提供的人工智能聊天機器人會 “極大地抑制學習”。即使是模仿家教設計的微調版 ChatGPT 也不一定有幫助。

研究人員認為，問題在于學生把聊天機器人當成了 “拐杖”。當他們分析學生輸入 ChatGPT 的問題時，學生往往只是簡單地詢問答案。學生們并沒有通過自己解決問題來培養技能。

ChatGPT 的錯誤也可能是一個原因。聊天機器人只有一半的時間能正確回答數學問題。它的算術計算有 8% 的時間是錯誤的，但更大的問題是，它逐步解決問題的方法有 42% 的時間是錯誤的。輔導版的 ChatGPT 直接輸入了正確的解題方法，從而將這些錯誤降到了最低。

論文及實驗

2024 年 7 月，一篇關于該實驗的論文草案被發布在 SSRN（前身為社會科學研究網）的網站上： https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4895486 該論文尚未在同行評審期刊上發表，仍有可能被修改。

這只是在另一個國家進行的一次實驗，還需要更多的研究來證實其結論。但這次實驗規模很大，在 2023 年秋季期間，有近千名九年級到十一年級的學生參與其中。教師首先與全班同學一起復習之前講過的一堂課，然后將他們的教室隨機分配成三種練習數學的方式之一：使用 ChatGPT、使用由 ChatGPT 支持的人工智能輔導員或完全不使用高科技輔助工具。每個年級的學生都被分配了相同的練習題，無論是否使用人工智能。之后，他們進行測試，以了解自己對概念的掌握程度。研究人員共進行了四次這樣的測試，讓學生在四個不同的數學題目中進行了四次 90 分鐘的練習，以了解人工智能究竟是有幫助、有損害還是毫無用處。

ChatGPT 似乎也會讓學生產生過度自信。在與實驗同時進行的調查中，學生們表示，ChatGPT 讓他們學得更多了，而事實是他們學到的東西更少。使用人工智能輔導的學生認為他們的考試成績明顯更好，盡管事實上成績沒有提高。(這也再次提醒我們，我們對自己所學知識的認知往往是錯誤的）。

作者將使用 ChatGPT 學習的問題比作自動駕駛。他們講述了過度依賴自動駕駛是如何導致美國聯邦航空管理局建議飛行員盡量減少使用這項技術的。監管機構希望確保飛行員在自動駕駛失靈時仍然知道如何飛行。

ChatGPT 并不是第一種在教育方面做出取舍的技術。打字機和計算機減少了對手寫的需求。計算器減少了對算術的需求。當學生可以使用 ChatGPT 時，他們可能會回答更多正確的問題，但學到的知識卻更少。一個問題的正確結果并不能幫助他們解決下一個問題。