大模型讓全球“黑客”狂歡！AI安全向何處去？

對網絡安全而言，每一次新的信息技術浪潮都蘊含著巨大機會，同時也意味著巨大的挑戰。這是因為，新技術必然帶來新的安全問題和新的需求，而“黑客”往往能快一步利用新的漏洞并發起攻擊，“防守方”則需要更快的響應和改變。

大模型技術亦如此。近日，在主題為“安全AI未來”的“C3安全大會·2024”上，亞信安全亞信安全高級副總裁陳奮提出，自ChatGPT發布以來，大模型驅動的人工智能技術已讓全球“黑客”開始狂歡，網絡攻擊和網絡犯罪升級。

大模型技術讓“黑客”狂歡

陳奮的話不是危言聳聽。

他介紹說，過去“黑客”制造一個攻擊性病毒需要數月時間，現在通過AI工具幾分鐘就能生成，大大提高了攻擊效率；而且大模型對編程語言的理解非常強，攻擊者可以利用大模型迅速發現軟件漏洞。同時，還有一波急功近利的“黑客”，利用AI算法批量深度偽造人臉視頻，涌現出一波網絡詐騙案例。同時還有攻擊者已經盯上了AI算力基礎設施和大模型平臺——這些高價值的計算集群，有著巨大的誘惑力。

據不完全統計，去年短短一年時間，針對大模型的攻擊手段已經涌現出10多種不同的類型。

亞信安全北極狐高級攻防實驗室，在去年發現了一種“海綿樣本攻擊”。這種攻擊手段并不復雜：向大模型發出一個特殊樣本——替換掉正常的提示詞，代之以復雜的語言內容，然后提交請求。如此一來，大語言模型需要60秒以上才能響應并返回回答。

對此，陳奮在采訪中表示：“未來很多核心應用可能都是大模型驅動的AI原生應用，（在這樣的攻擊下）應用基本上等于癱瘓了。這還只是一個比較基礎的攻擊事例，未來針對大模型的密集攻擊很快會到來。”

在C3安全大會上，中國工程院院士、清華大學智能產業研究院（AIR）院長張亞勤談到了類似擔憂。

“人工智能越來越強，這會帶來很大的風險。”他提到，除了信息安全層面，大模型的不可解釋性、黑箱問題、參數數據風險等也指向AI本身存在安全風險；此外，AI的可控性、可信性、邊界等問題也迫使人們不得不特別審視AI的安全風險。

張亞勤表示，暫且擱置AI以假亂真的問題，它更大的風險在于對物理世界帶來的影響。“想象一下，（未來）一個大模型可能會控制成千上萬的車輛、無人機、機器人以及物聯網設備——它們甚至有的直連于國家金融等各類核心體系，我們能否控制它？如果被壞人所利用呢？屆時，安全將成最重要的議題。”

安全產業面臨革新

有鑒于以大模型為代表的AI技術發展對信息安全的深刻影響，亞信安全的技術專家堅定認為，大模型技術必然帶來網絡安全產業“技術范式的革新”。

這體現在多個方面，涉及網絡攻防角色、安全產品設計、保護對象的變化等。

陳奮認為，從現在起，網絡安全攻防將從之前人與人之間的對抗，升級到AI和AI之間的對抗。“只有AI驅動的網絡安全防護檢測技術才能識別發軔于AI的黑客攻擊技術。”他說，最典型的案例就是深度偽造的鑒別，“人眼肯定不如AI”。

類似地，未來網絡安全產品的設計也需要大模型助一臂之力。陳奮提到，從風險檢測到產品體驗、從風控到安全運營，大模型技術將推動網絡安全產品的全面革新，“如果沒有大模型的加持，可能就無法站在最有競爭力的舞臺上”。

保護對象也將發生變化。正如此前提到的，如果一個企業或實體的核心應用是通過大模型驅動的，那么未來企業資產維護就從傳統的資產演進為保護企業的AI中心。

類似的還有智能家居安全。隨著智能網聯汽車、智能家居等的普及，家庭信息安全也將從保護個別終端設備演進為保護家庭的“AI中心”。

“全球都在行動”

在大模型技術發展給網絡安全行業帶來“范式革新”的背景下，沒有人可以“躺平”。2023年，谷歌就開發并推出了網絡安全專有大模型“Sec-PaLM”，并將其全線接入谷歌云；今年4月，微軟公司宣告Security Copilot（安保副駕駛）正式商用，通過將大語言模型和安全專用模型相結合，為企業提供信息安全助手。

安全行業巨頭更加不會坐失良機。作為行業“龍頭”，美國網絡安全公司Palo Alto、CrowdStrike等已經在各自的安全運營平臺集成了大模型的技術能力，并持續深化智能安全產品開發。乘著大模型技術“東風”，Palo Alto已成為全球首家市值突破千億美元的安全公司；CrowdStrike也不遜色，市值時隔不到一年增長超一倍，正逼近千億美元。

不僅如此，在全球最大的網絡安全盛會“RSA Conference”（簡寫作RSAC）最具影響力和人氣的活動——創新沙盒（Innovation Sandbox）大賽上，連續兩屆（RSAC 2023、RSAC 2024）冠軍都花落圍繞“AI安全”做文章的初創企業。

2023年，主打AI攻防并“提供對機器學習資產健康與安全可見性”的AI安全初創公司HiddenLayer奪魁，創造了創新沙盒大賽將桂冠首次頒給AI安全的歷史；RSAC 2024創新沙盒大賽的冠軍得主是Reality Defender，該創業公司主要提供檢測和對抗生成式人工智能相關虛假信息（深度偽造的圖文及音視頻等）和認知操控威脅的解決方案。

AI安全連搶風頭，業內專家認為，這預示著網絡安全正在迎來一場重大范式轉移，“AI For Security和Security For AI”正成為網絡安全的主戰場。

這一風潮也迅速吹進國內。亞信安全調查顯示，中國80%以上的網絡安全公司都在將大模型技術集成到網絡安全產品中，30%的公司已經開始做大模型安全的研究，并出現了一波AI安全創業的浪潮。

亞信安全也將“AI For Security和Security For AI”作為智能新時代的戰略布局，并積極擁抱大模型。在C3 安全大會上，亞信安全發布網絡安全垂域大模型“信立方”，通過將安全技術與AI技術結合，實現網安領域的攻擊面智能檢測、惡意代碼及威脅情報智能分析、告警預判等功能應用。此外，亞信安全還大量招募AI人才、與業內優秀的大模型公司如“智譜AI”等合作，以引進、消化、吸收及轉化一流的AI能力。

AI風險治理不是單純科學或政策問題

對于AI技術發展引發的安全風險問題，張亞勤表示他近兩年來“個人花了很多時間思考并做一些事情”，包括專門成立一個20人左右的“人工智能發展與治理專題研討會”——參與研討的包括三位“圖靈獎”獲得者和兩位深度學習領域的開創者。他們每過一段時間就坐在一起研討相關主題：AI的發展趨勢和風險治理。

“我們認為，AI技術發展帶來的安全和風險治理不僅是政策制定的問題，也不單純是科學問題、技術問題，需要政策制定者和科研工作者一起合作，將AI發展和治理融合起來看待，才能有健康的發展。”張亞勤說。

在充分研討的基礎上，張亞勤提出了5個長期建議。

一是要對AI大模型分級管理，如萬億乃至更多參數的前沿大模型的風險相對較高，應加強監管；對應用在智能駕駛、生物系統等不同領域的大模型也要分級監管。

二是AI生成內容要有清晰標識，包括AI生成的數字人、圖文、音視頻等，要像“廣告”標識一樣醒目標注，以方便甄別。

三是要設立物理映射機制或系統。無人駕駛汽車、智能機器人等智能體，應明確其作為“從屬物”映射到具體管理人或管理機構等法定實體，相關智能體出現問題，應追溯其從屬的主體責任。他提出，現在就應著手制定相關法規。

四是要加大對大模型風險治理研究的投入。他建議政府或企業在開發前沿大模型過程中要拿出10%~30%的投入投放在安全風險相關的技術和產品開發方面。張亞勤說：“開始30%比較難，可以先拿出10%做這件事。”

五是要制定人工智能應用的紅線。他提出，AI技術本身可能沒有邊界，但在使用大模型時，需要制定一些邊界。例如應規范智能數字人不能無限制地復制，大模型技術用于金融、軍事等核心系統設施時要設立清晰紅線等。

“這不是一家企業的事、一個國家的事，而是需要全球政府和企業精誠合作，面對風險、解決問題。”張亞勤最后說道。