科學家呼吁：全球需聯手應對AI帶來的災難性風險

人工智能系統的濫用或失控可能給全人類帶來災難性后果。然而，我們尚未開發出必要的科學手段來管控和保障對高級智能的使用。

我們應建立預警閾值，即模型的能力水平表明該模型可能會越過或接近越過紅線。

9月5日-8日，全球頂尖的人工智能（AI）科學家匯聚威尼斯，共同呼吁各國政府和研究人員聯手應對AI可能帶來的災難性風險。圖靈獎得主約書亞·本吉奧（Yoshua Bengio）、姚期智教授，清華大學講席教授張亞勤、加州大學伯克利分校教授斯圖爾特·羅素（Stuart Russell）等多位計算機科學領域的領軍人物，共同出席了由AI安全國際論壇（Safe AI Forum）和博古睿研究院共同舉辦的第三屆國際AI安全對話（International Dialogues on AI Safety）。

在為期三天的會議中，與會科學家們共同達成了一份具有重要意義的共識聲明，其核心觀點強調了AI安全作為“全球公共產品”的重要性，建議各國應將AI安全納入學術與技術合作的核心領域。

共識指出，人工智能系統的濫用或失控可能給全人類帶來災難性后果。然而，我們尚未開發出必要的科學手段來管控和保障對高級智能的使用。由于人工智能帶來的風險具有全球性，我們必須將人工智能安全視為全球公共產品，并為實現這些風險的全球治理而努力。

AI安全國際對話發起人，從左到右依次是Stuart Russell，姚期智，Yoshua Bengio，張亞勤

共識認為，作為第一步，各國應設立有能力在其境內監測和應對人工智能事故與災難性風險的部門。各國監管部門應協同合作，制定應對重大人工智能事故與災難性風險的全球應急計劃。長遠來看，各國應建立國際監管機制，以防止出現可能帶來全球災難性風險的模型。為了應對可能到來的由高級人工智能系統引發的災難性風險，科學家呼吁，國際社會應考慮啟動三項工作程序，包括應急準備協議與制度、安全保障體系，以及全球人工智能安全和驗證的獨立研究。

清華大學國際安全與戰略中心主任傅瑩，清華大學人工智能國際治理研究院院長薛瀾,中國科學院自動化研究所類腦智能研究中心副主任曾毅遠程參與了討論。

在會議的第二天，科學家們與政策制定者、前國家元首及其他領域的專家進行了深入討論，參會者包括前愛爾蘭總統Mary Robinson，卡內基國際和平基金會主席Mariano-Florentino (Tino) Cuéllar，歐盟人工智能標準CEN-CENELEC JTC 21主席Sebastian Hallensleben。面對人工智能技術的快速發展，專家們一致認為，盡快實施這些提案至關重要。此次聲明將呈交給多國政策制定者，并在會議中探討了國際社會應如何協同合作，實現這一目標的戰略路徑。

以下為“聲明”官方中文翻譯

《AI安全國際對話威尼斯共識》

人工智能系統能力的迅速發展，正將人類推向一個人工智能可以達到甚至超越人類智能的世界。專家普遍認同這些人工智能系統可能會在未來數十年內被開發出來，很多人認為它們的到來會更快。人工智能系統的濫用或失控可能給全人類帶來災難性后果。然而，我們尚未開發出必要的科學手段來管控和保障對高級智能的使用。由于人工智能帶來的風險具有全球性，我們必須將人工智能安全視為全球公共產品，并為實現這些風險的全球治理而努力。我們必須未雨綢繆，齊心防范任何隨時可能出現的災難性風險。

國際社會的初步積極舉措表明，即使在緊張的地緣政治局勢下，在人工智能安全和治理方面開展合作也是可以實現的。各國政府和人工智能開發者在兩次峰會上承諾遵循基礎性原則，以促進人工智能的負責任發展，并最大限度地減少風險。得益于這些峰會，各國陸續設立了人工智能安全研究所或相似機構，推進測評、研究和標準制定工作。

上述努力值得肯定，必須持續推進。各國需要為人工智能安全研究所提供足夠的資源，并繼續召開峰會，支持其他國際治理舉措。然而，各國需要在現有的努力上邁出更大步伐。作為第一步，各國應設立有能力在其境內監測和應對人工智能事故與災難性風險的部門。各國監管部門應協同合作，制定應對重大人工智能事故與災難性風險的全球應急計劃。長遠來看，各國應建立國際監管機制，以防止出現可能帶來全球災難性風險的模型。

我們必須開展深入的基礎研究，以確保高級人工智能系統的安全性。這項工作刻不容緩，以確保我們擁有充足的時間來開發和驗證相關技術，在需要管控高級人工智能時應對自如。為此，我們呼吁各國將人工智能安全視為一個獨立于人工智能能力地緣戰略競爭的合作領域，專注于國際學術與技術合作。

為了應對可能到來的由高級人工智能系統引發的災難性風險，國際社會應考慮啟動以下三項工作程序：

應急準備協議和制度：通過這一機制，各國的安全監管部門可召集會議，合作制定并承諾實施模型注冊和披露制度、事故報告機制、預警觸發點及應急預案。

安全保障體系：當模型的能力超過特定閾值時，要求開發者為模型的安全性提供高度可信的論證。對于高性能的人工智能系統，隨著它們的廣泛應用，部署后的監控也將成為保障體系的關鍵組成部分。這些安全保障措施應接受獨立審計。

全球人工智能安全與驗證的獨立研究:應通過技術開發，使各國能夠確認開發者以及其他國家提出的與人工智能安全相關的聲明是真實有效的。為了確保研究的獨立性，這項研究應在全球范圍內進行，并由多個國家的政府和慈善機構共同資助。

應急準備協議和制度

就應對先進人工智能系統所需的技術和制度措施，各國應達成一致，無論這些系統的開發時間線如何。為促進這些協議的達成，我們需要建立一個國際機構，將各國人工智能安全監管部門聚集在一起，在制定和審核人工智能安全法規方面，推動不同司法管轄區的對話與合作。該機構將確保各國采納并實施一套基本的安全準備措施，包括模型注冊、信息披露與預警機制。

隨著時間推移，該機構還可以制定驗證方法的標準，并承諾使用這些方法來執行各國對安全保障體系的本地化實施。各國可以通過獎懲機制來相互監督這些方法的執行，例如將市場準入與遵守全球標準掛鉤。專家和安全監管機構應建立事故報告和應急預案，并定期交流，確保驗證過程中采用的方法反映出當前最新的科學理解。該機構將發揮關鍵的初步協調作用。然而，從長遠來看，各國需要進一步努力，確保對高級人工智能風險的有效全球治理。

安全保障體系

前沿人工智能開發者必須向本國監管部門證明，其所開發或部署的系統不會逾越紅線，例如在AI安全國際對話北京共識中所界定的紅線。

為實現這一目標，我們需要在風險和紅線問題上進一步建立科學共識。此外，我們應建立預警閾值，即模型的能力水平表明該模型可能會越過或接近越過紅線。該方法建立在現有的自愿承諾（如負責擴大政策）的基礎上，對不同框架進行統一和協調。能力低于預警閾值的模型只需有限的測試和評估，而對于超出這些預警閾值的高級人工智能系統，我們則必須采用更嚴格的保障機制。

雖然測試可以警示我們關注風險，但它只能提供對模型的粗略理解，無法為高級人工智能系統提供足夠的安全保障。開發者應該提交高置信度的安全案例，并以一種能夠說服科學界相信其系統設計是安全的方式進行量化，這也是其他安全關鍵工程學科的常見做法。此外，足夠先進系統的安全報告應討論開發者的組織流程，包括有利于安全的激勵機制和問責結構。

當前的部署前測試、評估和保障措施遠不夠充分。高級人工智能系統可能會逐漸增加與其他人工智能系統和用戶進行的復雜多智能體交互，而這可能導致難以預測的潛在風險。部署后的監控是整個保障體系的關鍵部分，它可以包括對模型行為的持續自動評估、人工智能事故追蹤的集中數據庫，以及人工智能在關鍵系統中的應用報告。進一步的保障還可以通過自動化運行時驗證來實現，例如確保安全報告中的假設條件依然成立，并在模型運行到超出預期范圍的環境時安全地關閉系統。

各國在確保安全保障的落地中發揮著關鍵作用。各國應要求開發者定期進行測試，判斷模型是否具備帶來潛在風險的能力，并通過第三方獨立的部署前審計保證透明度，確保這些第三方獲得必要的權限，包括開發者的員工、系統和記錄等必要證據，以核實開發者的主張。此外，對于超出早期預警閾值的模型，各國政府可要求開發者在進一步訓練或部署這些模型前，必須獲得獨立專家對其安全報告的批準。各國可以幫助建立人工智能工程的倫理規范，例如要求工程師承擔類似于醫療或法律專業人士的個人責任，保護公眾利益。最后，各國還需要建立治理流程，以確保部署后的充分監測。

盡管各國在安全保障體系上可能有所差異，國家間仍應合作，確保體系間的互認性與可比性。

全球人工智能安全和驗證的獨立研究

AI安全和驗證的獨立研究對于開發確保安全的高級人工智能系統至關重要。國家、慈善機構、企業、和專家應設立一系列全球人工智能安全與驗證基金。這些資金應當逐步增加，直至其在全球人工智能研發支出中占據重要比例，以充分支持并增強獨立研究能力。

除了人工智能安全基礎研究，這些資金的其中一部分將專門用于隱私保護和安全驗證方法的研究，為國內治理和國際合作提供支持。這些驗證方法將允許各國可信地核實人工智能開發者的評估結果，以及他們在安全報告中指定的任何緩解措施是否到位。在未來，這些方法還可能允許各國驗證其他國家提出的相關安全聲明，包括對安全保障體系的遵守情況，以及重大訓練運行的申報。

全面的驗證最終可以通過多種方式進行，包括第三方治理（如獨立審計）、軟件（如審計跟蹤）以及硬件（如人工智能芯片上的硬件支持治理機制）。為確保全球信任，跨國聯合開發驗證方法，并對其進行壓力測試將變得尤為重要。

至關重要的一點是，全球廣受信賴的驗證方法，在過去曾使各國能在全球地緣政治緊張局勢下，對特定的國際協議作出承諾，而它在未來也可能再次發揮同樣的作用。

（原標題：約書亞·本吉奧、姚期智、張亞勤等頂尖AI科學家呼吁：全球需聯手應對AI可能帶來的災難性風險）