受聘清北兩校，朱松純團隊發表最新成果

　　我們能相信人工智能（AI），并將汽車駕駛、金融保險和醫療健康等決策權全盤交給它嗎？很遺憾，現在還不行。

　　當前基于深度神經網絡的AI算法“可解釋性”很差，它的處理過程仿佛一個“黑盒子”，不能解釋為何作出特定決策。我們無法信任它。因此，可解釋人工智能（XAI）的研究——其目的是搭建人機信任的橋梁——勢在必行。

　　近日，AI領域知名學者朱松純教授團隊在iScience發表論文，提出了一個新的可解釋AI框架“CX-ToM”，可用于解釋深度卷積神經網絡（CNN）作出的決策，在圖像識別模型中增強人類的信任。

　　目前，朱松純同時在清華大學和北京大學任講席教授并擔任管理職務，這種情況實屬罕見。他主持的北京通用人工智能研究院（BIGAI）也是由清華大學、北京大學等單位合作支撐。根據這篇新發論文，在朱松純所屬機構一欄，這三家均在列。

　　在獲取人類信任方面獲得的進步，將使AI朝著更“自主的智能”邁近一步。朱松純一直致力于“完全自主的智能”的研究，他曾撰文表示，相比會學舌的鸚鵡，能夠領會到將堅果丟在斑馬線上、利用車輪碾壓吃到堅果肉的烏鴉，才是他所期望的“真正的智能”。

　　幫助AI取信于人的兩個工具

　　基于推理判斷的“反事實解釋”和心理學和認知科學中的“心智理論”（ToM）都是能使神經網絡獲取人類信任的工具。朱松純團隊提出的人機信任模型“CX-ToM”中，不僅將反事實解釋用于圖像識別上，還引入了心智理論概念。

　　舉個例子，在一張圖片里，一只黃褐色、有鹿角的鹿站立在草原上，CNN模型能夠識別出它是只鹿，但同時還有一定概率會識別為袋鼠和斑馬。是黃褐色的身軀誤導了模型，還是大草原的背景給了模型其他的想象？

　　給出決策背后的“黑盒”無從得知，模型只是盲目地在若干預測結果中選擇可能性最高的那個。

　　在集成了反事實解釋和心智理論的AI框架下，研究人員試圖打開這個“黑盒子”。例如：在對草原鹿圖片的識別給出答案后，人們就要詢問機器（這里指CX-ToM模型）：“為什么圖像被識別成鹿而不是袋鼠？”

　　此時，模型就要向用戶報告它給出推理和預測所依據的（最優的）具有區分性的語義特征，之后用戶來驗證模型的預測。如果用戶對模型的回答不滿意，則可以接著詢問，直到它選擇出一組讓用戶滿意的最優解釋。

　　在這個模型中，AI框架所生成的“解釋”不是“一錘子買賣”，而是一種基于人機交互對話的多輪次通信過程——這也是該論文的一大亮點。

　　過往的研究表明，人機信任與AI的可理解性（人類用戶對AI系統的理解程度）和可預測性（在特定任務上預測系統性能的準確程度）密切正相關。CX-ToM模型在這方面做得很好。

　　在實驗中，研究人員招募了60名計算機視覺背景（具有豐富的使用CNN訓練圖像分類模型的經驗）的專家用戶，以及150名沒有計算機視覺背景（且沒有其他AI領域背景）的非專家用戶。研究人員使用定性和定量的評估指標，展開CX-ToM模型與其他基線模型的對比實驗。

　　結果顯示，兩組用戶都認為，在基于心智理論的人機交互對話的環境下，他們和機器進行多輪次溝通，機器每一次越來越優的反饋結果都能引起他們的好感；與此同時，機器解釋給出的詳細、可理解的結果，能夠幫助更深入地理解神經網絡模型是如何做圖像分類識別的，這顯然有助于增加對其的信任。

　　朱松純：AI研究應該搞一個“烏鴉圖騰”

　　“完全自主的智能”——感知、認知、推理、學習和執行都有的AI，存在嗎？

　　這是世界上頂級科學家都難以解決的問題，但朱松純認為，這個解存在。他例舉了烏鴉取食的例子，認為“自然界已經為我們提供了很好的案例”。

　　鳥類中，烏鴉和鸚鵡體型差不多。鸚鵡有很強的語言模仿能力，人類的一個短句多說幾遍，它就能重復。朱松純認為這就類似于由數據驅動的聊天機器人：它們都可以說話，但又都不明白說話的語境和語義，不能把所說的話對應到物理世界的物體、場景、人物，不符合因果與邏輯。

　　但生活在復雜城市環境中的烏鴉——它們能夠制造工具，懂得各種物理常識和人類活動的社會常識，能夠與人類交互和共存。

　　日本研究人員曾經觀察過烏鴉的行為，他們驚奇地發現，烏鴉不僅懂得借助汽車輪胎碾壓堅果以打開堅硬的外殼，還懂得把堅果放在斑馬線附近，在紅燈停車時，它們就不必冒著生命危險取食。在這一系列的操作中，烏鴉展現了它對城市環境的感知、認知、推理、學習和執行，而且這個過程中沒有大數據訓練、沒有監督學習。

　　“作為科學研究的目標，我們要尋找‘烏鴉模式’的智能，而不要‘鸚鵡模式’的智能。”朱松純感慨：“我個人認為，人工智能研究該搞一個‘烏鴉圖騰’，因為我們必須認真向它們學習。”

　　朱松純的觀點在AI學術領域有一定代表性。目前，朱松純同時在清華大學和北京大學任職。據清華大學官網，朱松純現任該校基礎科學講席教授、清華大學通用人工智能研究院（籌）院長；北京大學官網則顯示，朱松純系該校講席教授，自2020年11月起任北京大學人工智能研究院院長。

　　此外，朱松純還擔任北京通用人工智能研究院（BIGAI）院長。據企查查信息顯示，北京通用人工智能研究院是一家由科技部、北京市政府支持共建，清華大學、北京大學等單位合作支撐的非營利性新型研發機構。

　　參考資料：

　　https://www.cell.com/iscience/fulltext/S2589-0042(21)01551-0

　　https://arxiv.org/abs/1909.06907

　　https://www.au.tsinghua.edu.cn/info/1110/2445.htm

　　http://www.cis.pku.edu.cn/info/1084/1757.htm

　　https://www.zhihu.com/org/bei-jing-tong-yong-ren-gong-zhi-neng-yan-jiu-yuan

　　https://mp.weixin.qq.com/s/-wSYLu-XvOrsST8_KEUa-Q