人工智能突然變聰明了嗎

　　人工智能超級智能會突然出現，還是科學家能預見它的到來并有機會向世界發出警告？隨著大型語言模型如ChatGPT的興起，這個問題最近受到了很多關注。這類模型隨著規模的增長已經獲得了大量新功能。

　　一些研究結果指向了“涌現”，即人工智能模型以一種驟然且不可預測的方式獲得智能的現象。但最近一項研究將這類情況稱為“海市蜃樓”，即系統測試過程中產生的假象，并表明創新能力增強是循序漸進的。

　　研究人員近日在美國新奧爾良舉行的神經信息處理系統大會（NeurIPS）機器學習會議上報告了這項工作。

　　“我認為他們在說‘沒有什么神奇事情發生’方面做得很好。”謀智基金會研究人工智能審計的計算機科學家Deborah Raji說，這是“一個非常好的、堅實的、基于衡量的批評”。

　　大型語言模型通常使用大量文本或其他信息進行訓練，通過預測接下來會發生什么來生成現實的答案。即使沒有經過明確的訓練，它們也能翻譯語言、解決數學問題、寫詩或編寫計算機代碼。

　　模型越大，性能就越好，有些模型的可調參數超過了1000億。一些研究人員懷疑，這些工具最終將實現通用人工智能，在大多數任務上與人類相匹配，甚至超過人類。

　　這項新研究從幾個方面檢驗了“涌現”的說法。在一種方法中，研究人員比較了人工智能研究公司OpenAI 4種規模的GPT-3模型加4位數的能力。從絕對精度來看，第三種和第四種規模模型的性能差異從近0%到近100%不等。但是，如果考慮答案中正確預測的數字數量，這種趨勢就不那么極端了。

　　研究人員還發現，他們還可以通過給模型更多測試問題來抑制曲線。在這種情況下，規模較小的模型有時會作出正確的回答。

　　接下來，研究人員觀察了谷歌公司的LaMDA語言模型在幾個任務上的表現。那些表現出明顯智能躍升的模型，比如察覺諷刺或翻譯諺語，通常是答案分為對或錯的多項選擇任務。相反，當研究人員檢查模型在每個答案上的概率時，“涌現”的跡象消失了。

　　最后，研究人員轉向了計算機視覺，這一領域“涌現”的說法較少。他們訓練模型壓縮，然后重建圖像。僅僅通過為正確性設定一個嚴格的閾值，它們就可以誘導明顯的“涌現”。

　　新研究合作者、美國斯坦福大學計算機科學家Sanmi Koyejo表示，考慮到一些系統表現出突然的“相變”，人們接受“涌現”的想法并非沒有道理。他還指出，這項研究不能在大型語言模型中完全排除這種可能性，更不用說在未來的系統中了。

　　“迄今為止的科學研究有力地表明，語言模型的大多數方面確實是可預測的。”Koyejo補充道。

　　這項研究還對人工智能的安全和政策產生了影響。Raji說：“通用人工智能的支持者一直在利用新興能力的說法。毫無根據的恐懼可能導致令人窒息的監管，或者轉移人們對更緊迫風險的注意力。”

　　“這些模型正在改進，且改進是有用的。”她說，“但它們還沒有接近意識。”