警惕AI技術泡沫梅宏院士呼吁建立完善治理體系

“智能是人類區別于其他動物的專有特征，特別是認知能力，我們可以接受機器在感知能力方面超越人類，但對機器認知智能的研發，需要高度審慎。從科技倫理的視角來看，我們為什么要去造出一個替代我們認知的東西？”11月22日，在以“跨越邊界的科技倫理”為主題的第二屆中國科技倫理高峰論壇上，中國科學院院士、北京大學教授梅宏直指當前數字技術面臨的倫理挑戰。

梅宏作主旨報告。主辦方供圖

從智能制造到智慧城市，從醫療健康到金融服務，以及當前大語言模型的火爆，人工智能（AI）風頭正盛。梅宏認為，在當前的AI熱潮中，泡沫太大，仍處于技術成熟度曲線的高峰階段，喧囂埋沒理性，需要一個冷靜期。

他強調，雖然基于當前的技術路徑，大模型尚不能“無中生有”，做出超越人類預期的事情，但一味信奉“蠻力”、追求規模，也極易發展出在覆蓋面和復雜度上人們難以掌控的“巨獸”。

數字技術與倫理困境

在經歷了兩個“春天”和兩個“冬天”后，AI迎來了第三個“春天”，深度學習技術帶來的一次次突破，不斷刷新著人們對人工智能的認知。

但是，從Facebook數據泄露到大模型生成內容引發侵權糾紛和虛假信息傳播，數字技術為人類社會經濟發展帶來好處的同時，也帶來了數據隱私保護、算法偏見、責任認定等一系列倫理問題。

例如，當前大語言模型的技術路線，黑盒導致的不可解釋性是其最大“罩門”。如果不加任何規制地大量應用，將可能導致人類知識體系面臨嚴峻挑戰。訓練語料的質量缺陷、概率統計的內生誤差等因素會導致大模型產生幻覺，生成錯誤內容；再加上人為干預誘導，極易生成虛假內容。

“通過算法，平臺可以個性化推送內容，但也可能形成用戶的信息繭房，我最近最大的困擾就是拿著手機卻讀不到我想讀的有價值的內容。”梅宏表示，目前幾乎所有網絡平臺都在AI算法和大數據驅動下運營，這就帶來對算法和數據應用的有效監管問題，這些亟待通過建立完善的治理體系來加以解決。當涉及平臺跨境時，還需要有相應的國際治理體系。

警惕AI技術“泡沫”

當前，社會對“AI+”或“AI for everything”抱有很高的期望，然而，現實情況卻不盡如人意。

“雷聲隆隆，雨點并不大。”梅宏坦言，“從當前的熱潮中，我看到了太多‘炒作’和‘非理性’導致的 AI‘過熱’現象，也對當前AI發展技術路徑多樣性的欠缺萌生了一些擔憂。”

“大語言模型的成功依賴于人類長時間積累的龐大語料庫，文生視頻的成功也依賴于互聯網上存在的海量視頻。然而，其他行業的數據積累尚未達到這個量級。獲取全數據，關鍵是跨越足夠的時間尺度。”梅宏表示，AI的應用還需要經歷一段時期的探索、磨合和積累，才可能迎來繁榮。

“在我看來，AI當前的問題有3個：泡沫太大，仍處于技術成熟度曲線（hype cycle）的高峰階段，喧囂埋沒理性，需要一個冷靜期；以偏概全，對成功個案不顧前提地放大、泛化，過度承諾；期望過高，用戶神化AI的預期效果，提出難以實現的需求。”梅宏說。

面對AI技術發展及其應用的現狀，梅宏建議，在尚搞不清如何應用、用到何處時，不妨先積累數據，“可采盡采、能存盡存”。

尚難走向“通用”人工智能

那么，大語言模型能走向“通用”人工智能嗎？梅宏認為，從基本原理來看，目前的大語言模型沒有跳出概率統計這個框架。

梅宏并不認為現在的AI有所謂的“意識”或者知識涌現能力。以大語言模型為例，模型本身無法產生新的東西，其生成的內容取決于對大量文本內容的統計，如果某些內容反復出現，它們大概率就會將之視為“合理存在”的內容。

“就這個意義而言，大模型可被視為是由已有語料壓縮而成的知識庫，生成結果的語義正確性高度依賴于數據的空間廣度、時間深度以及分布密度，更高度依賴于數據的質量。”他提到，學術界的研究更應關心大模型構建過程的可重復性和可追溯性，盡可能保證結果的可解釋和可信任。

“大膽預測大預言模型的未來，作為壓縮了人類已有的可公開訪問的絕大多數知識的基礎模型，大語言模型在未來需要像互聯網一樣，走向開源，全世界共同維護一個開放共享的基礎模型，盡力保證其與人類知識的同步。”梅宏說。“這至少也是表達自己的一種期望”。

完善科技倫理治理機制

“發明技術的最終目的是為了讓人類的生活變得更好，毫無疑問應該充分考慮技術可能帶來的倫理問題。”梅宏表示，在AI快速發展的熱潮下，需要對可能的風險進行研判，并提醒科技工作者時刻牢記科技向善、以人為本。

隨著數字技術的發展，科技倫理治理也應當跟上。梅宏強調，目前應當完善科技倫理治理體制機制，明確數字技術領域的治理重點和安全護欄，對數字技術進行分級分類治理，同時建立健全AIGC（人工智能生成內容）的主動披露標注制度并開展相關技術研究。

那么，數字技術領域是否應該存在研究禁區？梅宏認為，在基礎研究階段一般不做限制，涉及到對人的認知能力調控、違背人的自由意志的研究應列為禁區。在技術和產品應用階段，要根據具體場景及影響來確定。

“例如大規模遠程監控、自主決策的社會評價體系、操縱個人意識和行為并造成個人或他人身體或心理傷害的技術，以及超越或替代人的認知能力為目標的AI技術研發，應當受到限制。”梅宏說。

同時他表示，數字技術領域的研究禁區應該建立動態調整機制，適時調整倫理審查的復核清單。

此外，他呼吁建立生成內容的披露標準機制，建立涵蓋大模型開發者、創作者、使用者的標注責任機制；鼓勵多條技術路線推進大模型生成內容標注技術研發；完善大模型內容審核制度規范和檢測技術開發；推進相關標準和規范制定并國際化。