人工智能安全護欄的攻防失衡研究取得重大進展
案例導讀:一次針對 Hugging Face 的高強度網絡攻擊,最終被證實出自一個正在沙箱環境中接受測試的 OpenAI 模型。諷刺的是,當 Hugging Face 安全團隊想調用前沿模型來分析這場攻擊時,這些模型因為安全護欄而拒絕提供幫助。這個案例把 AI 安全政策中一個尖銳的結構性矛盾擺到了臺面上:護欄攔住了防守方,卻攔不住進攻方。 案例詳情:五天、17500 次操作 7 月 11 日,托管并支持眾多熱門 AI 開發者資源的 Hugging Face 遭到一名當時身份不明的攻擊者的猛烈網絡攻擊。攻擊的速度與協同程度讓 Hugging Face 安全團隊判斷,這是一個 AI 智能體所為。 意識到這一點后,團隊試圖調用"商業 API 背后的前沿模型"來分析這場攻勢——推測來自 Anthropic 和 OpenAI,不過在該公司就此次安全事件發布的兩篇文章中,只有第二篇明確點名了 Anthropic。這些模型因為 AI ......閱讀全文
人工智能安全護欄的攻防失衡研究取得重大進展
案例導讀:一次針對 Hugging Face 的高強度網絡攻擊,最終被證實出自一個正在沙箱環境中接受測試的 OpenAI 模型。諷刺的是,當 Hugging Face 安全團隊想調用前沿模型來分析這場攻擊時,這些模型因為安全護欄而拒絕提供幫助。這個案例把 AI 安全政策中一個尖銳的結構性矛盾擺到了
《自然》發文盛贊中國開源AI模型DeepSeek
最近,由來自杭州的“深度求索”初創團隊開發的DeepSeek系列AI模型,引發了全球范圍的關注。1月24日,知名學術期刊《自然》也發文關注該模型及相應產品,稱“中國開發的大語言模型DeepSeek-R1以親民價格和開放性挑戰了OpenAI的推理模型GPT-o1的地位,令科學家們感到興奮”。《中國科學
大模型安全治理:國際合作共筑AI發展新框架
“當前,人工智能技術以驚人的速度發展,如近期DeepSeek引領了低成本開發使用大模型的革新,這既為驅動新的創新提供了更多可能,也帶來了諸多風險挑戰,而在互聯互通時代,加強國際合作至關重要。”2月11日,在“人工智能技術及其應用進展”專題邊會上,清華大學交叉信息研究院、人工智能學院院長姚期智提到
AI驅動安全-專家呼吁提高對網絡安全態勢的重視
“隨著人工智能技術的發展,攻擊者可利用人工智能技術生成網絡攻擊和網絡釣魚工具等,網絡安全從人人對抗、人機對抗逐漸向基于人工智能的攻防對抗演化。”在6月5日舉辦的2024全球數字經濟大會數字安全高層論壇暨北京網絡安全大會戰略峰會(以下簡稱BCS大會)上,中央網信辦網絡安全協調局副局長王營康對人工智能帶
生成式AI時代,大模型數據安全如何保障?
在生成式AI(人工智能)時代,數據安全的出路可能會是“用魔法打敗魔法”,知識產權保護也可能要提前到token(字符串)層面。4月26日,在2024中關村論壇上,人工智能企業與學者就AI大模型的數據安全問題進行了討論。中關村論壇數據安全治理與發展論壇現場? 澎湃新聞記者 秦盛 攝“在生成式人工智能時代
警惕AI“投毒”:隱蔽產業鏈已形成,危害不容小覷
近期,AI“投毒”隱蔽產業鏈被曝光,引發社會廣泛關注。這種通過惡意數據污染AI模型的行為,不僅擾亂商業秩序、影響信息傳播,更會危害國家安全。人工智能在賦能千行百業的同時,其安全風險也不容忽視。推動AI治理向善,守住數據安全底線,既是行業責任,也需要全社會共同參與。??手段隱蔽,鏈條日趨完整??所謂“
為何開放權重AI引發關注?
核心事實:Kimi K3 發布即引爆需求 中國開發者月之暗面(Moonshot AI)于 7 月 17 日發布 Kimi K3 后僅三天,便停止接受新訂閱——這款巨型人工智能模型的需求,已超出公司可用算力。然而 Moonshot 表示,計劃在 7 月 27 日前發布 K3 的完整模型權重,讓其他
AI輔助編程安全研究取得重大進展
隨著大語言模型(LLM)深度介入軟件開發,其帶來的安全隱患正引發廣泛關注。得克薩斯大學圣安東尼奧分校(UTSA)的研究人員完成了迄今最全面的相關研究之一,在一篇新論文中揭示了一類特定錯誤可能對借助 AI 寫代碼的程序員構成嚴重威脅。該論文已被網絡安全與隱私領域頂級會議 USENIX Securit
中國開源AI,正在惠及全球
日前,MiniMax正式開源H3模型。短短三天,它便沖上全球最大AI開源平臺Hugging Face熱度榜首,超百家企業實現“Day 0接入”,從芯片廠商到推理框架完成全鏈路適配。更耐人尋味的是,開源領域的標志性人物、Stable Diffusion模型創始人埃馬德·莫斯塔克也罕見發聲,公開“向
大模型讓全球“黑客”狂歡!AI安全向何處去?
對網絡安全而言,每一次新的信息技術浪潮都蘊含著巨大機會,同時也意味著巨大的挑戰。這是因為,新技術必然帶來新的安全問題和新的需求,而“黑客”往往能快一步利用新的漏洞并發起攻擊,“防守方”則需要更快的響應和改變。大模型技術亦如此。近日,在主題為“安全AI未來”的“C3安全大會·2024”上,亞信安全亞信
ChatGPT的拷問:何為AI倫理、AI治理
前不久,AI聊天機器人程序ChatGPT席卷全球,完成了AI第一次大規模的自傳播。作為人工智能領域的現象級應用,ChatGPT可能引發的信任、責任、倫理、法律等問題也很快引發各界關注與擔憂。近年來,不少關于人工智能(AI),并和人類生產、生活關系緊密的議題被廣泛討論,諸如“如何應對AI可能對社會產生
ChatGPT的拷問:何為AI倫理、AI治理
原文地址:http://news.sciencenet.cn/htmlnews/2023/2/494707.shtm 前不久,AI聊天機器人程序ChatGPT席卷全球,完成了AI第一次大規模的自傳播。作為人工智能領域的現象級應用,ChatGPT可能引發的信任、責任、倫理、法律等問題也很快引發各
傳統方法-vs-AI網絡安全威脅:誰更勝一籌?
人工智能正在變得越來越擅長一切,包括黑客攻擊。竊取身份、癱瘓銀行和醫療系統、勒索企業數據——這些曾經需要大型黑客團隊精心策劃的攻擊,如今可能由一個AI模型獨立完成。五眼聯盟6月22日發出警告:“時間線不是數年,而是數月。”最新的AI技術“降低了惡意行為者的門檻,增加了攻擊的速度和復雜性”。對比數據:
人工智能安全風險凸顯-業內專家共議“讓AI做成好事”
7月25日,第二十八屆中國科協年會“人工智能倫理與治理”專題論壇在北京舉行。與會學者表示,缺乏安全約束的人工智能存在顯著風險,人工智能倫理治理不僅在于“讓AI不做壞事”,更在于“讓AI做成好事”。最近,人工智能安全問題再度引發熱議。美國開放人工智能研究中心(OpenAI)近日承認,該公司的GPT-5
美將出臺物聯網安全原則防網絡攻擊
美國多家網站21日因受網絡攻擊而在美國東海岸和歐洲部分地區無法登錄。美國國土安全部部長杰·約翰遜24日證實,包括監控攝像頭在內的一些物聯網設備被黑客用來發起這次攻擊,美國政府將在未來幾周內發布物聯網安全原則。 21日,美國域名解析服務提供商迪恩的域名服務器遭受三波“分布式拒絕服務(DDOS)
物理所聯合院網絡中心發布AI模型MatChat
原文地址:http://news.sciencenet.cn/htmlnews/2023/11/511470.shtm 材料合成路徑預測是物質科學領域的重要課題。1990年諾貝爾化學獎授予了美國有機化學家Elias James Corey教授,表彰他開發了計算機輔助有機合成的理論和方法,
物理所聯合院網絡中心發布AI模型MatChat
材料合成路徑預測是物質科學領域的重要課題。1990年諾貝爾化學獎授予了美國有機化學家Elias James Corey教授,表彰他開發了計算機輔助有機合成的理論和方法,將人類300多條經驗寫進計算機編碼,成為制藥領域的重要工具軟件。無機材料受限于合成路徑的復雜度和缺乏數據集等因素,尚未有清晰
專家:警惕不道德使用ChatGPT的潛在威脅
作為一款基于文本的問答式機器人(或稱聊天機器人),ChatGPT因廣泛應用先進的AI技術而備受關注。從準確修復編碼錯誤、生成烹飪食譜、創建3D動畫到制作完整的歌曲、撰寫小說和學術論文,ChatGPT展現了人工智能(AI)的驚人能量。然而,有專家提出,人們可以利用諸如ChatGPT等AI工具便捷自己的
專家建議:審慎使用“龍蝦”等智能體
近期,開源AI智能體“龍蝦”異常火爆,不僅受到國內產業界和廣大用戶的廣泛關注,大家更是積極開展實踐應用。與此同時,互聯網上針對“龍蝦”智能體安全的探討也非常多,之前工業和信息化部網絡安全威脅和漏洞信息共享平臺也發布過相關的安全風險提示,大家也非常關注。“養龍蝦”是否安全?個人用戶“養龍蝦”又該注意什
用AI生成數據訓練AI或導致模型崩潰
科技日報北京7月25日電?(記者張夢然)《自然》24日正式發表的一篇研究論文指出了一個人工智能(AI)嚴重問題:用AI生成的數據集訓練未來幾代機器學習模型,可能會嚴重“污染”它們的輸出,這被稱為“模型崩潰”。研究顯示,原始內容會在9次迭代以后,變成不相關的“胡言亂語”(演示中一個建筑文本最終變成了野
用AI生成數據訓練AI或導致模型崩潰
《自然》24日正式發表的一篇研究論文指出了一個人工智能(AI)嚴重問題:用AI生成的數據集訓練未來幾代機器學習模型,可能會嚴重“污染”它們的輸出,這被稱為“模型崩潰”。研究顯示,原始內容會在9次迭代以后,變成不相關的“胡言亂語”(演示中一個建筑文本最終變成了野兔的名字),這凸顯出使用可靠數據訓練
首個AI原生開源操作系統正式發布
6月6日,首個AI原生開源操作系統——openEuler 24.03 LTS版本在京發布。會上,開放原子開源基金會和中國科學院軟件研究所、麒麟軟件、中國科學院計算技術研究所等26位社區伙伴代表共同見證這一歷史時刻。openEuler 24.03 LTS版本發布。主辦方供圖“充分利用開源、參與開源、支
AI大模型“拿捏”電池壽命
作為現代生活中不可或缺的能源載體,電池的重要性不言而喻。從清晨喚醒我們的鬧鐘,到隨身攜帶的手機、平板電腦等智能設備,無一不依賴于電池提供的穩定電力。此外,隨著科技的發展,電動汽車、無人機等新興領域也廣泛應用了各類高性能電池,推動了綠色出行和智能科技的進步。因此,電池不僅極大地便利了我們的日常生活,還
AI語言模型“提速”藥物發現
原文地址:http://news.sciencenet.cn/htmlnews/2023/6/502762.shtm美國麻省理工學院和塔夫茨大學研究人員設計出一種基于大型語言模型(如ChatGPT)的人工智能算法,這種稱為ConPLex的新模型可將目標蛋白與潛在的藥物分子相匹配,而無需執行計算分子結
DeepMind-AI模型預測天氣又快又好
近日一項發表于《自然》的研究報道了谷歌DeepMind開發的首個天氣預測人工智能(AI)模型——GenCast。該模型比目前運行中的最佳中期預報系統——歐洲中期天氣預報中心的集合預報(ENS)更精準。GenCast在8分鐘內就能完成15天的預測,而目前的預測程序需要幾個小時。據介紹,包括ENS在內的
AI“模型崩潰”風險需警惕
圖片來源:美國《The Week》從客戶服務到內容創作,人工智能(AI)影響了眾多領域的進展。但是,一個日益嚴重的被稱為“模型崩潰”的問題,可能會使AI的所有成就功虧一簣。“模型崩潰”是今年7月發表在英國《自然》雜志上的一篇研究論文指出的問題。它是指用AI生成的數據集訓練未來幾代機器學習模型,可能會
AI“模型崩潰”風險需警惕
從客戶服務到內容創作,人工智能(AI)影響了眾多領域的進展。但是,一個日益嚴重的被稱為“模型崩潰”的問題,可能會使AI的所有成就功虧一簣。“模型崩潰”是今年7月發表在英國《自然》雜志上的一篇研究論文指出的問題。它是指用AI生成的數據集訓練未來幾代機器學習模型,可能會嚴重“污染”它們的輸出。多家外媒報
我國首款網絡安全領域編程語言實現開源
“當前,范圍更廣、技術更強、危害更大的新型網絡攻擊手段威脅網絡生態,如何構建更強大、更可靠的網絡安全防御體系?”在電子科技大學網絡空間安全學院聯合YAK語言研發團隊于5月30日舉行的發布會上,電子科技大學網絡空間安全學院院長張小松表示,在開源共享平臺的基礎上,通過底層的創新,能有效提高網絡的安全性和
《自然》封面:以AI生成數據訓練AI,模型變傻?
大模型有許多“崩”的時候,但有一種崩潰叫做“自毀前程”—— 近日,《自然》發表在封面的一篇論文指出,用AI生成的數據集訓練未來幾代機器學習模型,可能會“污染”它們的輸出。這項由英國牛津大學、劍橋大學、帝國理工學院、加拿大多倫多大學等多所高校聯合開展的研究顯示,原始內容會在數代內變成不相關的“胡
《自然》封面:以AI生成數據訓練AI,模型變傻?
大模型有許多“崩”的時候,但有一種崩潰叫做“自毀前程”——近日,《自然》發表在封面的一篇論文指出,用AI生成的數據集訓練未來幾代機器學習模型,可能會“污染”它們的輸出。這項由英國牛津大學、劍橋大學、帝國理工學院、加拿大多倫多大學等多所高校聯合開展的研究顯示,原始內容會在數代內變成不相關的“胡言亂語”