美國研究證 ChatGPT 會計考試表現不及人類 稅務等題目表現較遜

| 蘇家華 | 02-05-2023 12:33 | |
美國研究證 ChatGPT 會計考試表現不及人類 稅務等題目表現較遜

OpenAI 旗下 AI 工具 ChatGPT 沒錯是懂做很多事情,也聰明得可以在大學法律考試過關,甚至在 GRE 語言考試中獲得近乎滿分。不知道如果要 ChatGPT 做會計考試的話,成績又會是它怎樣呢?原來美國楊百翰大學 BYU 及其餘 186 個機構院士都對此感到好奇,並招募全球 14 個國家地區、186 個教育機構的 327 名合著者參與這項研究,貢獻 25,181 條課堂會計試題,以及由 BYU 本科生提供另外 2,268 條教科書試題,看看 ChatGPT 的會計考試表現為何。

即刻按此,用 App 睇更多產品開箱影片

這個不只是為 ChatGPT 而設的會計考試,同時也有真人參與,讓兩者成績可以有所比較。有關問題涵蓋了會計信息系統 AIS、審計、財務會計、管理會計和稅務,亦設有是非題、多項選擇題、簡答題等不同問題類型與難度。而是次會計考試結果是真人平均得分(76.7%)比 ChatGPT(47.4%) 高。只有 11.3% 的問題 是 ChatGPT 得分高於學生,尤其在 AIS 和審計方面搶了不少分數。不過,ChatGPT 在稅務、財務和管理評估方面表現較遜。

在問題類型方面,ChatGPT 在是非題(68.7% )和多項選擇題(59.5%)表現更好,但簡答題(28.7% 至 39.1% 之間)表現較差。除了是難以回答高階問題外,有時 ChatGPT 會為錯誤答案提供以為是對的書面描述,又或者用不同方式回答同一個問題。

此外,研究人員在這次研究中也發現其他有趣細節,包括:1)ChatGPT 做數學計算時不是常常能識別題目,且會犯無意義的錯誤,例如將兩個數字相加來處理減數,或者錯誤地將數字相除;2)ChatGPT 通常會為答案提供解釋,即使當中是錯誤也好,以及 3)ChatGPT 會有編造事實的情況。例如提供參考時會生成一個完全虛構的 reference ,有時甚至連原作者都是不存在的。

【相關報道】大學法律考試過關 實證 ChatGPT 答問題合格有餘

【相關報道】ChatGPT 功能過於強大 連美軍都考慮引入

【相關報道】ChatGPT 試生成 Windows 95 激活 Key   YouTuber 坦言花 30 分鐘才獲得可接受結果

Source: SciTechDaily

Page 1 of 13