薩里大學研究呼吁改革人工智能設計

我們是否對我們并不完全了解的技術抱有信心？薩里大學的一項新研究表明，人工智能系統正在做出影響我們日常生活的決定——從銀行、醫療保健到犯罪偵查。該研究呼吁立即改變人工智能模型的設計和評估方式，強調這些強大算法需要透明度和可信度。

隨著人工智能被整合到高風險領域，而這些領域的決策可能會改變人們的生活，與“黑匣子”模型相關的風險比以往任何時候都要大。這項研究揭示了人工智能系統必須為其決策提供充分解釋的情況，讓用戶信任和理解人工智能，而不是讓他們感到困惑和脆弱。由于醫療保健中的誤診和銀行中的錯誤欺詐警報，潛在的危害（可能危及生命）是巨大的。

薩里大學的研究人員詳細介紹了人工智能系統未能充分解釋其決策的令人震驚的例子，讓用戶感到困惑和脆弱。由于醫療保健中的誤診案例和銀行中的錯誤欺詐警報，潛在的危害是巨大的。欺詐數據集本質上是不平衡的——0.01%是欺詐交易——導致數十億美元規模的損失。人們知道大多數交易是真實的，這讓人放心，但這種不平衡對人工智能學習欺詐模式提出了挑戰。盡管如此，人工智能算法可以非常精確地識別欺詐性交易，但目前還沒有能力充分解釋為什么它是欺詐性的。 

該研究的合著者、薩里大學分析學高級講師沃爾夫岡·加恩博士說：

“我們不能忘記，在每個算法解決方案的背后，都有真實的人，他們的生活受到這些決定的影響。我們的目標是創造人工智能系統，不僅智能，而且還能為人們（技術用戶）提供他們可以信任和理解的解釋。”

該研究提出了一個被稱為SAGE（設置、受眾、目標和道德）的綜合框架來解決這些關鍵問題。?SAGE旨在確保人工智能解釋不僅可以理解，而且與最終用戶相關。?通過關注目標受眾的具體需求和背景，SAGE框架旨在彌合復雜的人工智能決策過程與依賴這些過程的人類操作員之間的差距。

與此框架相結合，該研究使用了基于場景的設計（SBD）技術，該技術深入研究現實世界的場景，以找出用戶真正需要的人工智能解釋。這種方法鼓勵研究人員和開發人員站在最終用戶的立場上，確保人工智能系統以同理心和理解為核心。

沃爾夫岡·加恩博士繼續說道：

“我們還需要強調現有人工智能模型的缺點，這些模型往往缺乏提供有意義解釋所需的上下文意識。通過識別和解決這些差距，我們的論文倡導人工智能開發的進化，優先考慮以用戶為中心的設計原則。它呼吁人工智能開發人員與行業專家和最終用戶積極互動，營造一個協作環境，讓不同利益相關者的見解可以塑造人工智能的未來。通往更安全、更可靠的人工智能世界的道路，首先要致力于理解我們創造的技術及其對我們生活的影響。對于我們來說，忽視變革的呼聲的風險太大了。”

該研究強調了人工智能模型以文本形式或圖形表示解釋其輸出的重要性，以滿足用戶的不同理解需求。?這一轉變旨在確保解釋不僅易于獲取，而且具有可操作性，使用戶能夠根據人工智能的見解做出明智的決定。

這項研究發表在《應用人工智能》雜志上。