近日,阿里云推出全新視頻生成大模型 I2VGen-XL,并在魔搭社區開放體驗,用戶上傳一張圖片后 2 分鐘左右即可生成一段 1280*720 的高分辨率視頻。據介紹,該模型的訓練還使用了多種風格的視頻數據,可生成科技感、電影色、卡通風格和素描等類型豐富的視頻。目前,I2VGen-XL 的模型和代碼均已開源。
在此之前,阿里云曾推出 AI 繪畫創作大模型通義萬相(基座模型 Composer)和可控視頻生成模型 VideoComposer,團隊在該領域發表 60 多篇 CCF-A 類論文,并在國際頂級視覺競賽中獲得 10 余項冠軍。
和 AI 繪畫創作大模型相比,視頻生成大模型的技術門檻更高,其需要克服文本和視頻內容匹配度、視頻畫面質量、畫面連續性等諸多技術挑戰。在此之前,阿里云和微軟等科技公司相繼推出一系列可控視頻生成研究成果,例如用戶可通過定義空間布局、運動模式等條件來生成視頻,但其畫面清晰度難以滿足真實場景應用的需求。
針對該問題,阿里云進一步提出創新思路,I2VGen-XL 模型設計了兩個階段:首先在低分辨率條件下保證生成結果和給定圖像語義的匹配度,隨后通過視頻擴散模型 (VLDM) 來提高視頻分辨率,并同時提升時間和空間上的一致性,保證最終視頻內容的清晰度和連貫性,最終實現 1280*720 高分辨率的突破,并且在畫面細節的展現上大幅領先現有模型。
I2VGen-XL 模型研發負責人表示,未來將進一步實現 2K 超清效果,可應用于短視頻內容生產、電影制作等場景。
I2VGen-XL 流程圖
目前,I2VGen-XL 模型已吸引國內外用戶和開發者的廣泛體驗和二次開發,涌現了大量創意 AI 視頻生成內容,例如在城堡上展翅的恐龍、宇航員在飛船中行走的科幻電影畫面等等……知名 AI 社交媒體分析師 Ahsen Khaliq 在推特發布多條由該模型生成的視頻效果,并表示模型在清晰度、紋理、語義和時間連續性方面有優勢。
模型體驗地址:
https://modelscope.cn/studios/damo/I2VGen-XL-Demo/summary
-
分辨率
+關注
關注
2文章
1068瀏覽量
41962 -
AI
+關注
關注
87文章
31097瀏覽量
269430 -
模型
+關注
關注
1文章
3261瀏覽量
48914 -
大模型
+關注
關注
2文章
2482瀏覽量
2849
原文標題:降本增效:Grab 如何在云上將 Kafka 消費者流量成本降到零
文章出處:【微信號:AI前線,微信公眾號:AI前線】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論