南開新成果可讓Sora核心組件訓練提速10多倍

2024年伊始，人工智能大模型ChatGPT母公司Open AI發布首個人工智能文字生成視頻大模型Sora，通過計算機視覺技術模擬現實世界的動態變化，可以一次生成60秒流暢逼真的視頻，被視為繼ChatGPT之后人工智能技術的又一重大突破。但從實測Sora的一些“翻車”視頻中可以看出，AI仍然存在著無法快速、準確“理解”物理世界的困難。

近日，南開大學、南開國際先進研究院（深圳福田）教授程明明團隊發布一項國際聯合研究成果MDT，相比Sora核心組件DiT訓練速度提升10倍以上，再次刷新SoTA（最佳）圖像生成質量和學習速度，實現了大型圖像分類數據集性能測試（ImageNet benchmark）上1.58的FID score（圖片質量的度量），超過Meta、Nvidia等知名公司提出的模型。研究團隊也已將MDT源代碼全部開放。

以Sora核心組件之一DiT為代表的擴散模型，可以實現“無中生有”得到一張高質量圖像，是近年來人工智能技術最大亮點之一。但DiT往往難以高效地學習圖像中物體各部分之間的語義關系，這一局限性導致了訓練過程的低收斂效率。同時，更大的模型規模和數據規模也會消耗大量的算力能耗，導致訓練成本飆升。

“以DiT生成一張小狗圖像舉例，它在第5萬次訓練步驟時已經學會生成狗的毛發紋理，然后在第20萬次訓練步驟時才學會生成狗的一只眼睛和嘴巴，卻漏生成了另一只眼睛。即使在第30萬次訓練步驟時，DiT生成的狗的兩只耳朵的相對位置也不是非常準確。”程明明說，“簡單來說，就像做閱讀理解時忽視了上下文的語義關系，導致生成圖像中經常出現偏差需要反復修正，大幅增加了訓練成本。”

如何降低訓練成本、提升訓練效率？研究團隊通過在擴散訓練過程中引入上下文表征學習，能夠利用圖像物體的上下文信息，重建不完整輸入圖像的完整信息，從而學習圖像中語義部分之間的關聯關系，提升圖像生成的質量和學習速度。成果相關論文已在計算機視覺頂級會議計算機視覺國際大會發表。

近日，研究團隊又將MDT升級到v2版本，在MDTv2中引入了一個更為高效的宏觀網絡結構，進一步優化了學習過程，同時通過采用更快的Adan優化器、擴大掩碼比率等更優的訓練策略來進一步加速模型的訓練過程。實驗結果證明，通過視覺表征學習增強對物理世界的語義理解，能夠提升生成模型對物理世界的模擬效果。

程明明說：“希望我們的工作能夠激發更多關于統一表征學習和生成學習的工作，提升AI大模型的‘智慧’水平，解決更多場景的現實問題。”

相關論文鏈接：https://arxiv.org/abs/2303.14389