原文地址：http://news.sciencenet.cn/htmlnews/2024/3/518255.shtm
“Sora之后，眼見不一定為實了。”
上面這句感慨，恐怕許多人都感同身受。只需輸入一段文字描述，Sora就能生成一段長達一分鐘、畫面逼真、穩定連貫的高清視頻。由于畫面過于真實，人們僅憑肉眼很難辨別它們竟出自AI之手。
Sora生成的視頻截圖。來源：OpenAI官網 ?
不僅能生成視頻，AI還能“魔改”視頻。最近，小鵬汽車研究團隊提出了一個名為“任何物體在任何場景”的新型通用視頻模擬框架，它能無縫地將任何物體插入到現有的動態視頻中。同樣，肉眼難以分辨。
真假難辨之下，越來越多的人開始擔心，AI視頻可能引發更多混亂。比如視頻證據不再可信：“未來也許你不得不坐在法庭被告席上，觀看一段連你自己都不知道的‘作案視頻’。”
中國科學院自動化研究所研究員董晶研究的就是圖像竄改、深度偽造等人工智能內容安全與對抗技術，她和研究團隊的許多成果已應用于多媒體智能鑒偽。面對AI越來越強大的功能，技術上有哪些應對的方法和手段？普通公眾面對視頻內容時如何“多留幾個心眼兒”，以防上當受騙？為此，《中國科學報》采訪了董晶。
鑒偽仍處于被動狀態
“用魔法打敗魔法。”董晶說，目前技術上主要有兩類智能檢測方法來甄別一段視頻是否為AI生成。
一種是基于數據學習的方法。這通常需要提前收集偽造視頻和真實視頻（最好是配對數據）作為訓練數據集，訓練出強大的深度網絡。只要模型能夠“記住”視頻幀中的異常或痕跡，例如圖像噪點、幀間不連續的運動軌跡等，就能辨別真偽。
董晶說，這種方法較為通用，一旦檢測模型參數確定，部署簡單、批量檢測效果良好。但是，該方法相當依賴訓練數據的體量和完備性，對于未知或未訓練的數據檢測通常會失效。
另一種是基于特定線索的方法。它首先需要定義出視頻中一些不合常理或邏輯的視覺“線索”，如光照不一致、人臉視頻中應有的活體生理信號、說話人的口型和發音時序不匹配等細節，然后設計相應的算法去提取并定位這些線索，進而取證。這種方法可解釋性更好，對視頻段的定向檢測性能佳，但對數據本身的多樣性兼容較差。
被小鵬汽車團隊“魔改”的視頻，就可以使用這種方法鑒別。董晶說，他們團隊做了初步分析后發現，在“塞入”目標物體后，視頻/圖像不同幀的顏色、紋理會略有變化，“可以此為線索，在收集相關數據后進行訓練和檢測測試”。
不過，董晶談到，隨著Sora等工具在AI生成視頻細節與多元化處理方面的能力增強，生成視頻中的顯式偽造痕跡會越來越少，僅依賴傳統的視頻分析與偽造檢測方法甄別視頻內容的真假，無疑會變得更加困難。
“目前針對性技術的進展還比較初步，仍需加強各類檢測技術的開發和優化。”董晶告訴《中國科學報》，當前，技術方面還是沿用常規檢測技術思路，因此要在構建新型偽造視頻數據集的基礎上，提高模型的識別能力。
同時，還需要及時更新已有視頻檢測模型對新型生成視頻算法的兼容性。此外，還可借助數字水印、數字簽名、視頻檢索等技術手段，加強對生成視頻數據生命周期的追蹤與管理。
“總體而言，目前視頻內容鑒偽仍處于相對被動的狀態，需要針對不斷迭代升級的視頻合成新算法去博弈驗證。”董晶表示，盡管越來越難，但AI視頻在生成過程中仍不可避免地會產生一些特定的模式或痕跡，相關檢測技術也會持續利用這些肉眼不易察覺的線索來反制、分析和鑒偽。
她和團隊從多個角度提出了新的檢測算法。這些算法或基于重建誤差，或基于多模態對比學習，或基于偽造特征純化，均是對“新的特定鑒偽線索挖掘”的不斷嘗試。
推動建立具有國際共識的標準與規范
為避免引發混亂，“從源頭約束”等非技術方案頻頻被提起。例如，有人提出，可以約定如OpenAl等相關AIGC技術主體，在生成視頻之初就埋下AI生成的印記。
董晶對《中國科學報》表示，埋設標記的方法是目前可推薦的應對策略之一，但仍需克服技術上的挑戰和限制，如標記的可靠性、隱蔽性、普適性等，并綜合考慮隱私和安全等因素。
相對于對視頻的被動檢測，水印或標記屬于主動防御。董晶告訴記者，其團隊目前也圍繞視覺生成式水印開展了一些研究工作——他們希望在目前生成式模型中加入“魯棒水印嵌入模塊”，為的是讓生成的視頻本身攜帶可見或不可見的數字水印。
他們最近還嘗試了在真實圖像或視頻中加入“對抗噪聲”，這樣一來，生成模型就不能在這些源數據上進行AI合成。
除技術手段之外，董晶還提到一些非技術層面的措施。
“人們需要完善AI數據治理與AI工具使用的監管法規，同時開展科普教育，加強行業規范和公眾的相關防范意識等。”董晶說，對于境外AI生成服務主體，如OpenAI，“我們呼吁推動建立具有國際共識的AI數據技術標準與規范，形成共同應對生成視頻的合理標記和協同監管方案”。
董晶認為，通過規范Sora這類新型視頻生成工具的使用，如對其訓練所依賴的源數據集做好管理和收集、規范可能產生敏感或虛假內容的生成視頻的輸出和安全性測試、規范治理與管控措施，便可降低AI生成視頻的濫用風險，“甄別難度不會一直增加”。
增強對虛假視頻的“免疫力”
盡管認同“不應將辨別視頻是否為AI生成的工作交給公眾”，但董晶堅持認為，普通人還是可以在面對視頻內容時“多留幾個心眼兒”，以防上當受騙。
為此，董晶支了幾招。
首先，觀察視頻細節的邏輯真實性，例如視頻中人物動作、背景環境等是否與客觀世界相符，人物的生理特征（如牙齒、手指、皮膚紋理、虹膜顏色等）是否符合常理。
她表示，現階段Sora算法等能否簡單便捷地大量生成高質量圖像視頻還是未知，從已公布的視頻片段來看，其在運動上的瑕疵，仔細觀察還是能夠辨別的。
其次，觀察視頻的質量和清晰度是否均衡。一般而言，AI生成的視頻可能會在畫面質量、清晰度等方面存在一些瑕疵，例如圖像模糊、畫面抖動等。
最后，檢查視頻的內容邏輯是否合理，比如內容和情節是否合理和連貫。如有疑慮，可進一步查看視頻來源、發布平臺、評論、格式和制作時間等信息是否可信或一致。還可以借助一些專門用于檢測AI生成視頻的技術工具和軟件交叉驗證。
董晶表示，在視頻聊天等交互場景下，可以主動要求對方轉為側臉、靠近或遠離鏡頭等加以甄別，因為現有偽造技術對較大運動變化的預測和生成效果相對較差。
除此之外，董晶提醒，在當下復雜的媒介和輿論環境之下，普通公眾應積極學習相應知識、適當了解AI生成的機制和破綻，以備不時之需。