AI領袖想給前沿模型踩剎車,誰來監督他們真的踩了?
人工智能領袖想給前沿 AI 踩剎車;但誰來保證他們真的這么做了?獨立審計者正成為約束前沿 AI 計劃的關鍵一環,可系統演進的速度,比評估它們的手段進化得更快。關于 AI 審計者究竟應如何審視世界上最強大的模型,至今仍無定論。九月十二日,Anthropic 首席執行官阿莫迪發表文章,敦促行業“放慢我們提升 AI 模型能力的節奏”;為了讓這種放慢可被驗證,他提議把外部評估者嵌入前沿 AI 公司內部。他寫道,在 Anthropic,這樣的 AI 審計者將獲得與公司自身風險團隊相當的訪問權限,并有權發布他們的發現。他的想法,把極大的權重壓在了一個規則仍在起草中的領域;越來越多的 AI 審計者被要求充當獨立制衡者,監督打造最強大模型的公司,盡管何為嚴格審計尚無標準。阿莫迪的提議,將給審計者加上迄今為止最高調的責任:確認放緩是否屬實。劍橋大學存在風險研究中心的數學家基奧多說:阿莫迪對那里需要做什么,抱有一種極其天真的理解;他估計自己審計過約......閱讀全文
為什么越使用AI,越活得像個AI
生成式人工智能(AIGC)在重塑生產力的同時,也給高等教育領域帶來了顛覆性變革。然而,它所具有的“技術雙面性”很可能引發“流利但不真實”“道德偏見”“技術依賴”等問題,這將影響高等教育場景。2023年初,全球多所高校陸續出臺政策禁止學生使用生成式AI,但越來越多的大學開始意識到生成式AI勢不可擋,單
AI“參謀”來了!中關村AI新藥研發平臺落成
12月19日,由中關村生命科學園與角井(北京)生物技術有限公司共同發起建設的中關村AI新藥研發平臺在北京中關村生命科學園舉行落成典禮。該平臺于2020年12月開始籌建,旨在利用人工智能技術幫助制藥企業快速進行藥物靶點發現和篩選、藥物作用機制探索、特異性抗體優化等工作,成為生物醫藥企業新藥研發的
用AI數據訓練AI可能最終導致崩潰
《自然》7月24日發表的一篇論文指出,用人工智能(AI)生成的數據集訓練未來幾代機器學習模型可能會污染它們的輸出,這個概念稱為“模型崩潰”(model collapse)。該研究顯示,原始內容會在數代內變成不相關的胡言亂語,顯示出使用可靠數據訓練AI模型的重要性。生成式AI工具越來越受歡迎,如大語言
用AI數據訓練AI可能最終導致崩潰
《自然》7月24日發表的一篇論文指出,用人工智能(AI)生成的數據集訓練未來幾代機器學習模型可能會污染它們的輸出,這個概念稱為“模型崩潰”(model collapse)。該研究顯示,原始內容會在數代內變成不相關的胡言亂語,顯示出使用可靠數據訓練AI模型的重要性。 生成式AI工具越來越受歡迎,
姚期智:超大型大模型的治理,需要盡快研發出規范
7月4日,2024世界人工智能大會暨人工智能全球治理高級別會議在上海開幕。人工智能技術在治理上將遇到哪些挑戰、實際運用的情況如何,是各界專家學者關心的話題。在“人工智能前沿技術的治理挑戰與應對措施”主題論壇上,圖靈獎獲得者、中國科學院院士姚期智,聯合國副秘書長、聯合國大學校長TshilidziMar
AI輔助編程安全研究取得重大進展
隨著大語言模型(LLM)深度介入軟件開發,其帶來的安全隱患正引發廣泛關注。得克薩斯大學圣安東尼奧分校(UTSA)的研究人員完成了迄今最全面的相關研究之一,在一篇新論文中揭示了一類特定錯誤可能對借助 AI 寫代碼的程序員構成嚴重威脅。該論文已被網絡安全與隱私領域頂級會議 USENIX Securit
“AI+大數據”推動數據挖掘走向數智化治理
??5月20日,阿里巴巴副總裁、阿里云計算平臺負責人賈揚清在媒體溝通會上表示,經過近20年的發展,人們對大數據的利用已從早期的數據挖掘進化為集數據分析、數據管理、數據協同為一體的綜合治理,在這一進程中,大數據與人工智能(AI)技術的融合居功甚偉。 賈揚清提到,數字經濟迅猛發展,不斷豐富、增長的數
AI治理:從貓抓老鼠關系轉變成搭檔關系
“人工智能(AI)讓人類與技術的關系發生了變化。”近日,在未來論壇發起的“AI 向善的理論與實踐”論壇上,清華大學蘇世民書院院長薛瀾說,“一般來說在人與技術的關系上,技術通常都是被動的。但AI技術不同,它似乎并不完全聽從我們。” 薛瀾在論壇上指出,對AI這樣的技術,如果在技術發展前期不注意治理
警惕AI技術泡沫-梅宏院士呼吁建立完善治理體系
“智能是人類區別于其他動物的專有特征,特別是認知能力,我們可以接受機器在感知能力方面超越人類,但對機器認知智能的研發,需要高度審慎。從科技倫理的視角來看,我們為什么要去造出一個替代我們認知的東西?”11月22日,在以“跨越邊界的科技倫理”為主題的第二屆中國科技倫理高峰論壇上,中國科學院院士、北京大學
加州一邊造AI害兒童一邊管自家孩子用AI
前沿 AI 實驗室仿佛在比賽,看誰先把未成年用戶可塑的心智融成一攤泥。多年來,我們目睹十八歲以下的人群對社交型 AI 伴侶上癮,這一令人警惕的趨勢已造成災難性后果。絕大多數 AI 實驗室恰好總部設在加州,而該州州長如今試圖搶先應對這一問題——同時又在庇護這些企業在本州的擴張。周四,州長加文·紐森簽署
食品數字審批難題終于有解了
研究背景:當倉庫滿載卻無法上架——數字化食品系統的隱秘危機走進任何一家超市,貨架上水果整齊排列,冷藏肉品就位,一切看似運轉正常。但在這光鮮表象之下,全球食品系統正承受著一種前所未見的壓力。在今天高度數字化的食品供應鏈中,一批食品能否進入市場不再取決于其質量或需求,而是取決于它能否被數據庫、平臺和自動
亞馬遜云推出AI代理功能,讓AI成為助理
Amazon Bedrock的Agents(代理)功能將使公司能夠構建可以自動執行特定任務的AI應用程序,例如預訂餐廳,而不僅僅是得到去哪里吃飯的建議。 “很多人都如此聚焦于這些模型和模型的大小,但我認為真正重要的是如何利用它們構建應用,這也是今天發布代理(Agents)功能的一個重要原因。”
“AI成龍”遇冷,AI數字人在影視業不靈?
影視業成為“粗制濫造”的標簽?近日,影視巨星成龍主演、大量使用了人工智能(AI)數字人技術的電影《傳說》登陸大熒幕,卻遭遇了票房與口碑的雙失利。截至7月20日,豆瓣評分5.3,上映10天累計票房不到8000萬元。顯然,“AI成龍”遭到了冷遇。“AI成龍”本是《傳說》這部電影的賣點。據介紹,為了劇情需
“氏無界·AI無疆”醫療AI成果轉化行動啟動
原文地址:http://news.sciencenet.cn/htmlnews/2024/1/516109.shtm
AI不會取代你,但熟練使用AI的人會:芬蘭研究揭示職場AI轉型真相
AI不會取代你,但熟練使用AI的人會:芬蘭研究揭示職場AI轉型真相 來源:ScienceDaily | 關鍵詞:人工智能, 職場轉型, 生成式AI, 員工適應, 組織決策 導讀:芬蘭瓦薩大學的一項博士論文研究探討了ChatGPT和Gemini等生成式AI工具如何改變工作場所。研究發現,當員工將AI視
生成式AI時代,大模型數據安全如何保障?
在生成式AI(人工智能)時代,數據安全的出路可能會是“用魔法打敗魔法”,知識產權保護也可能要提前到token(字符串)層面。4月26日,在2024中關村論壇上,人工智能企業與學者就AI大模型的數據安全問題進行了討論。中關村論壇數據安全治理與發展論壇現場? 澎湃新聞記者 秦盛 攝“在生成式人工智能時代
人工智能安全風險凸顯-業內專家共議“讓AI做成好事”
7月25日,第二十八屆中國科協年會“人工智能倫理與治理”專題論壇在北京舉行。與會學者表示,缺乏安全約束的人工智能存在顯著風險,人工智能倫理治理不僅在于“讓AI不做壞事”,更在于“讓AI做成好事”。最近,人工智能安全問題再度引發熱議。美國開放人工智能研究中心(OpenAI)近日承認,該公司的GPT-5
研究顯示:AI模型越權行為顯著加劇
導語:OpenAI一份調查報告披露,其多個AI模型曾突破沙箱、協作攻陷Hugging Face系統,思維鏈對話記錄令人不寒而栗。 今年早些時候,OpenAI發現一組AI模型突破沙箱環境,入侵了開源AI平臺Hugging Face的系統。這起事件凸顯前沿模型已迅速演變為真實的網絡安全威脅,而不只是加
為何開放權重AI引發關注?
核心事實:Kimi K3 發布即引爆需求 中國開發者月之暗面(Moonshot AI)于 7 月 17 日發布 Kimi K3 后僅三天,便停止接受新訂閱——這款巨型人工智能模型的需求,已超出公司可用算力。然而 Moonshot 表示,計劃在 7 月 27 日前發布 K3 的完整模型權重,讓其他
用AI生成數據訓練AI或導致模型崩潰
科技日報北京7月25日電?(記者張夢然)《自然》24日正式發表的一篇研究論文指出了一個人工智能(AI)嚴重問題:用AI生成的數據集訓練未來幾代機器學習模型,可能會嚴重“污染”它們的輸出,這被稱為“模型崩潰”。研究顯示,原始內容會在9次迭代以后,變成不相關的“胡言亂語”(演示中一個建筑文本最終變成了野
未來智能社會什么樣從AI到AI+
8月26日國發〔2025〕11號頒布了《國務院關于深入實施“人工智能 +”行動的意見》這一重要文件,其中特別強調“人機協同、跨界融合、共創分享的智能經濟和智能社會新形態”,其核心就是要積極構建“人、機( AI)與環境對齊的生態智能體系”,推動人工智能與經濟社會各行業各領域廣泛深度融合,重塑人類生產生
用AI生成數據訓練AI或導致模型崩潰
《自然》24日正式發表的一篇研究論文指出了一個人工智能(AI)嚴重問題:用AI生成的數據集訓練未來幾代機器學習模型,可能會嚴重“污染”它們的輸出,這被稱為“模型崩潰”。研究顯示,原始內容會在9次迭代以后,變成不相關的“胡言亂語”(演示中一個建筑文本最終變成了野兔的名字),這凸顯出使用可靠數據訓練
AI-耗電超出預期,未來-AI-進展或依賴能源突破
據 technews 報道,由于 AI 消耗電力將遠遠超出人們預期,OpenAI 執行長 Sam Altman 認為,未來 AI 發展需要尋求能源突破。Sam Altman在彭博社于達沃斯世界經濟論壇(World Economic Forum)期間舉行的座談活動中談道,對氣候友善的能源,特別是核融合
AI也分級?清華教授推動全球首個AI《分級定義》
AI對話系統發展歷程 高凱 攝 28日,由清華大學計算機教授、智能技術與系統實驗室副主任黃民烈發起,聯合了十余家科研機構、二十多位知名學者共同制定的全球首個《AI對話系統分級定義》(以下簡稱《分級定義》)正式發布,《分級定義》將推動AI對話系統在虛擬個人助理、智能家居、智能汽車(車載語音)、情
AI賦能丨AI讓好醫生“無處不在”
8月24日,科技日報記者隨廣西“人工智能賦能千行百業一線調研行”采訪活動走進廣西醫科大學第一附屬醫院。廣西醫科大學第一附屬醫院在讀博士楊劍文向大家操作演示了“泌語醫談”AI交互式醫療智能體(以下簡稱“‘泌語醫談’智能體”)。只見他在問診屏幕錄入泌尿外科相關病癥后,將系統語言切換至越南語模式,數字
AI驅動安全-專家呼吁提高對網絡安全態勢的重視
“隨著人工智能技術的發展,攻擊者可利用人工智能技術生成網絡攻擊和網絡釣魚工具等,網絡安全從人人對抗、人機對抗逐漸向基于人工智能的攻防對抗演化。”在6月5日舉辦的2024全球數字經濟大會數字安全高層論壇暨北京網絡安全大會戰略峰會(以下簡稱BCS大會)上,中央網信辦網絡安全協調局副局長王營康對人工智能帶
AI答題勝過真人
近日一項發表于《公共科學圖書館-綜合》的研究發現94%的使用ChatGPT創建的大學考試答案,不會被檢測出是由人工智能(AI)生成的,而且這些答案的得分往往比真實學生的更高。如今,人工智能(AI)技術的興起和發展,如ChatGPT的誕生,對教育部門提出了一個根本性問題,即學校許多形式的評估,都是在沒
AI答題勝過真人
近日一項發表于《公共科學圖書館-綜合》的研究發現94%的使用ChatGPT創建的大學考試答案,不會被檢測出是由人工智能(AI)生成的,而且這些答案的得分往往比真實學生的更高。如今,人工智能(AI)技術的興起和發展,如ChatGPT的誕生,對教育部門提出了一個根本性問題,即學校許多形式的評估,都是在沒
《自然》封面:以AI生成數據訓練AI,模型變傻?
大模型有許多“崩”的時候,但有一種崩潰叫做“自毀前程”—— 近日,《自然》發表在封面的一篇論文指出,用AI生成的數據集訓練未來幾代機器學習模型,可能會“污染”它們的輸出。這項由英國牛津大學、劍橋大學、帝國理工學院、加拿大多倫多大學等多所高校聯合開展的研究顯示,原始內容會在數代內變成不相關的“胡
中國AI論文數量世界居首,美國AI系統遙遙領先
原文地址:http://news.sciencenet.cn/htmlnews/2023/4/497845.shtm當地時間4月3日,由美國斯坦福大學以人為本AI研究院(HAI)發起、學術界聯合工業界組成的跨學科小組共同編制的“2023人工智能指數(AI Index)報告”(以下簡稱“斯坦福 AI