近期高速發展的 AI 研發,對培育小孩,有很多可以互相參考之處!
AI 為什麼越來越像人?因為它基本上就是照著「養小孩」的方法在訓練的。
「最初的一千天」,是嬰幼兒大腦發展的黃金期,要大量、多模態的刺激。
OpenAI 在 GPT-3 時代偏向把模型做大,後來 DeepMind 的 Chinchilla 研究(2022)反過來證實:同樣的算力,與其把模型做大,不如把資料餵足,效果好很多。
所以,孩子不是有個好基因高智商大腦就好,如果沒有大量輸入與訓練的機會,硬體再好也跑不出來。
「循序漸進」也很重要。先簡單清楚,再過渡到複雜,模型會學得聰明很多。這在機器學習有個正式名字,叫 Curriculum Learning,2009 年由 Yoshua Bengio 提出。
對人類來說,這裡又比 AI 更殘酷。對還沒辦法處理複雜數學的孩子,給予高強度考試與壓力,他不只學不會,還會得到大量的挫折感。那些挫折感,反過來變成輸入的資訊,讓孩子開始沮喪、無助、漠然、放棄。
最近 Anthropic 在 Claude agent 上更引入了「作夢」機制:閒置的時候,agent 會回去讀以前的記憶,把重複的東西組織化,形成更有效率的長期記憶。對於重複、矛盾或已更新的概念,也做好整理。
人類睡覺時的記憶鞏固,海馬迴把白天的短期記憶轉成長期記憶,是同一個邏輯。
那目前還有什麼,是對人類小孩很容易,對 AI 卻還非常困難的?
最具代表性的,是「極少樣本下的抽象泛化」。
小孩看一兩次貓,第三次就能在新環境認出貓。看過塗鴉的蝴蝶、漫畫上的蝴蝶,下次出門看到真的在飛的,竟然就能對上「這是同一種東西」。
這牽涉到抽象層,以及人類獨特的「關連式模式」理解。
如果這塊能再突破,離萬用的 AGI 就更近一步。
我自己在讀這些 AI 新聞的時候,都會去思考,我們給孩子的教育中,有哪些其實是違反現有的教育科學,也違反 AI 訓練原則的,並一一去調整跟改變。
封面圖來源:Anthropic Claude API Docs 中 Managed Agents「Dreams」功能說明頁。