在這項工作中,我們使用一種新穎的風格特征表示學習方法來解決任意圖像風格轉移的挑戰性問題。作為圖像風格化任務中的關鍵組成部分,合適的風格表示對于獲得令人滿意的結果至關重要。現有的基于深度神經網絡的方法在二階統計(如內容特征的 Gram 矩陣)的指導下取得了合理的結果。但是,它們沒有利用足夠的樣式信息,這會導致局部失真和樣式不一致等偽影。為了解決這些問題,我們建議通過分析多種風格之間的異同并考慮風格分布,直接從圖像特征而不是二階統計中學習風格表示。具體來說,我們提出了對比任意風格遷移(CAST),這是一種通過對比學習的新風格表示學習和風格遷移方法。我們的框架由三個關鍵組件組成,即用于樣式代碼編碼的多層樣式投影儀、用于有效學習樣式分布的域增強模塊以及用于圖像樣式遷移的生成網絡。我們全面進行定性和定量評估,以證明與通過最先進的方法獲得的方法相比,我們的方法取得了明顯更好的結果。
延時圖像序列為動態過程提供了視覺上引人注目的洞察力,這些過程太慢而無法實時觀察。然而,由于隨機效應(如天氣)以及循環效應(如晝夜循環),將較長的延時序列作為視頻播放通常會導致分散注意力的閃爍。我們以一種允許對圖像中的整體趨勢、循環效應和隨機效應進行單獨的事后控制的方式引入了解開延時序列的問題,并描述了一種基于數據驅動的生成模型的技術,該技術可以實現這個目標。這使我們能夠以單獨使用輸入圖像無法實現的方式“重新渲染”序列。例如,我們可以穩定一個長序列,在可選擇的、一致的天氣下,在幾個月內專注于植物生長。
我們的方法基于生成對抗網絡 (GAN),它以延時序列的時間坐標為條件。我們的架構和訓練程序的設計使網絡學習使用 GAN 的潛在空間對隨機變化(例如天氣)進行建模,并通過使用具有特定頻率的傅立葉特征將調節時間標簽饋送到模型來解開整體趨勢和循環變化。
我們展示了我們的模型對訓練數據中的缺陷具有魯棒性,使我們能夠修正捕捉長延時序列的一些實際困難,例如臨時遮擋、幀間距不均勻和幀丟失。
我們展示了Shoot360,一個高效生成多鏡頭的系統, 給定不同環境下的 360 度視頻錄制集合,具有所需內容呈現和各種電影風格的普通視圖視頻。我們系統的核心是一個三步決策過程: 1)首先對內容進行語義分析,基于鏡頭單元的每個全景環境的興趣,以及根據用戶對內容呈現和電影風格的規范,生成一個指導,指定其輸出鏡頭的語義焦點和運動類型。 2)基于獲得的指導,它為每個鏡頭生成具有鏡頭級別控制參數的視頻候選,用于遵循拍攝規則的視圖投影。 3)系統進一步聚合投影的正常視圖鏡頭與施加的局部和全局約束,其中結合了從示例視頻和專業拍攝規則中學習的外部知識。廣泛的實驗驗證了我們系統設計的有效性,我們總結了有希望的擴展,以將其應用于更通用的場景。
-
數據
+關注
關注
8文章
7118瀏覽量
89345 -
網絡
+關注
關注
14文章
7591瀏覽量
89059 -
代碼
+關注
關注
30文章
4815瀏覽量
68858
原文標題:2022 siggrqph:圖像和視頻生成(1)
文章出處:【微信號:計算機視覺芯片設計,微信公眾號:計算機視覺芯片設計】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論