大模型能相當準確地"猜"出社會實驗的結果，但它真的理解人類行為嗎？一項發表于《自然》的研究給出了令人驚訝的答案，也附帶一句嚴肅的警告：能預測，不等于能理解。
是什么讓人改變想法或行為？社會科學家花大量時間思考這個問題，而受控實驗是最有力的回答方式之一。但在真人身上檢驗想法，既費時又費錢：招募參與者、設計干預、收集與分析數據，往往要以月計、以可觀的經費計。于是大型語言模型（LLM）登場了——這類人工智能系統依托海量人類文本訓練，被設計來模仿某些基于文本的人的行為，似乎提供了一種便宜又快速的替代方案。
由哈佛大學心理學研究者 Ashwini Ashokkumar 領銜、發表于《自然》的新研究指出，GPT-4 等大模型能以驚人的準確度預測許多社會科學實驗的結果。研究團隊匯集了美國已完成的 70 項真實實驗，涉及近 12 萬名參與者；他們把假設受訪者的描述、實驗所推送的信息以及調查問題一并交給 GPT-4，請它估算這些人在不同條件下會如何回答。
隨后，研究者把 GPT-4 的預測與真實結果逐項比對，發現兩者高度相關；模型往往能區分"更有效"和"較無效"的干預措施。這是一個引人注目的結果，說明大模型至少在所考察的這類美國文本型調查實驗中，捕捉到了社會世界里某些有意義的規律，因而具備了某種"替身被試"的潛力。
但研究同時發出警告：能預測人類反應，不等于理解人類行為；所謂的"合成受訪者"或"硅樣本"不能直接替代真人。美國學者 Lisa Messeri 與 Molly J. Crockett 曾警示，人工智能系統會制造"理解的錯覺"——其輸出看起來洞察十足、很有用，卻讓人高估了它實際理解的東西。模型給出準確的數字，并不等于它知道背后的因果機制。
值得注意的是，這項研究覆蓋的是美國語境下的文本型調查實驗；在文化、語言與媒介各異的其他社會里，模型是否同樣有效，仍需獨立檢驗。把一項美國樣本上的成功，直接推廣到全世界，本身就是研究想要警示的過度自信。
這類"替身被試"的吸引力顯而易見：當預演一輪真實實驗要花數周與數萬美元時，讓模型先跑一遍，便能用極低的成本篩掉明顯無效的設想，把資源集中在更有希望的方向上。
· 納入真實實驗：70 項（均在美國完成）
· 參與者規模：近 120,000 人
· 測試模型：GPT-4；發表期刊：《自然》（Nature）
· 結果：預測與真實高度相關，能區分干預強弱
研究的結論并非找到了繞過人類研究的捷徑，更不是宣告真人實驗過時。更穩妥的思路是：把大模型當作輔助工具，用于生成假設、預演問卷、做前期篩查或快速探索方向，從而把寶貴的人力與經費留給真正關鍵的驗證環節；但它不應、也不能取代真實受試者。AI 預測有望改變社會科學研究的工作方式，可"理解"仍只能來自人。
這也意味著，在引用大模型輸出時，研究者應當保持克制：它可以告訴我們"可能會發生什么"，卻說不清"為什么"。當預測與真實實驗出現偏差時，偏差本身恰恰暴露了模型尚未掌握的因果結構。把 AI 當作會犯錯的協作者，而非全知的預言機，才是負責任的態度。
本文譯寫自 Mirage News 報道，原文鏈接：https://www.miragenews.com/ai-predicts-survey-responses-lacks-true-1707370/