快手“可靈”大模型發布圖生視頻功能

6月21日，快手的視頻生成大模型“可靈”再進化，正式推出圖生視頻功能，支持用任意靜態圖像生成5s視頻，并且可搭配不同的文本內容，實現豐富的視覺敘事。

上傳經典油畫《蒙娜麗莎》，可靈能夠讓蒙娜麗莎戴上墨鏡，并賦予她靈動的眼神交流，讓名畫中的人物活靈活現——這正是可靈圖生視頻功能的生動實踐。

給自己戴上墨鏡的“蒙娜麗莎”。  快手 供圖

此前，“可靈”在文生視頻方面已經展現出了創造逼真運動場景、精確模擬物理特性的能力，以及將復雜概念巧妙融合的“技藝”，其輸出堪比電影級畫質，并允許用戶自由調節視頻的縱橫比。而這些特性，如今都被融入到了圖生視頻模型。用戶只需上傳一張圖片，即能基于對圖像的解析變靜為動，賦予其5秒的鮮活生命力。

得益于其基礎模型架構中的3D時空聯合注意力機制，可靈在構建復雜時空運動方面也展現了實力。這使得模型在轉換靜態圖像為動態視頻時，能夠細膩、準確地實現大幅度運動場景。例如，上傳一張牧羊犬追球的靜止照片，模型就能生成一段牧羊犬奔跑追逐的視頻。同時，可靈圖生視頻模型還融入了提示詞融合技術，深化了對圖像語義與用戶指令的理解整合。這意味著，模型能夠根據用戶提供的不同文本指令變換視頻中的動態表現。

可靈大模型還新推出了視頻續寫功能，用戶只需一鍵操作，即可在已生成視頻的基礎上延續生成約5秒內容，該功能同時適用于文生視頻和圖生視頻。通過連續多次續寫，能夠最長生產約3分鐘的連貫視頻。

在近日于美國舉行的計算機視覺和模式識別大會（CVPR2024）上，快手發布了可靈大模型的圖生視頻和視頻續寫等功能，引起積極反響。據了解，今年快手共有8篇論文入選CVPR2024，彰顯了其在該領域的研究功底。