AI 跟法學教授,誰比較強?
史丹佛研究,針對沒有標準答案的契約法問題,請 AI 寫下見解,也請領域專家的法學教授寫下見解。
然後請 16 位美國法學院的契約法教授,在不知道哪個意見是 AI、哪個意見是同行教授的狀況下,選出比較好的答案。
結果 2918 次的對比中,AI 勝率 75.33%,法學教授同行則不到 25%。
更麻煩的是,被評審教授標記為「可能誤導、傷害學生學習」的答案,AI 只有 3.5%,同行教授的卻有 12%。
研究特地挑契約法,就是因為它沒有標準答案,要的是權衡、論證、給出站得住腳的結論。這原本被認為是人類判斷力的主場。
事實是,人類是一種並不穩定的生物,意思是,同一個問題,今天答跟昨天答,會被睡得好不好、前一個小時發生什麼事、最近心煩的事情給影響。這是有行為科學證據支持的。
AI 雖然也有他的不確定性,但藉由良好的 harness engineering 韁繩工程,可以事先做好控制。甚至產出的答案,也能夠要求用迴圈多次檢驗確認。
現在的法律教育世界,有兩股力量在拉扯。一邊,法學院開始禁止學生用 AI。另一邊,研究又發現 AI 的見解真有可能超越人類。
教授有能力分辨好壞,所以 AI 對他們是工具。但一個剛入門的學生,如果把 AI 給的見解直接當成自己的,他要怎麼長出紮實的思考,跟最重要的判斷力?這點我們都還在思考跟摸索中。
一開始就用 AI,學生可能把思考跟認知跟查證都外包,自己學不會。但禁止 AI,實務上禁不了之外,真誠實照做的學生,很可能連課程進度與表現,都跟不上其他(偷用 AI 的)同學。
這個問題正在衝擊整個教育界,尤其是內容跟文字高度相關的那些領域。