圖畫總是只能表現(xiàn)事物瞬間的形象，而動畫則需要逐幀手繪，費時費力，人工智能是否能夠幫助我們解決這一困難？近日，來自加拿大約克大學(xué)、Ryerson 大學(xué)的研究者們提出了使用「雙流卷積神經(jīng)網(wǎng)絡(luò)」的動畫生成方法，其參考了人類感知動態(tài)紋理畫面的雙路徑模式。該動畫生成模型可以參考相關(guān)視頻，讓一張靜態(tài)圖片變成效果逼真的動畫。目前，該研究的論文已被 CVPR 2018 大會接收，相關(guān)代碼也已公開。

動畫生成效果展示

很多常見的時序視覺模式使用組成元素的外觀和動態(tài)（即時序模式變化）的集合進行描述。此類模式包括火、搖曳的樹木和波浪起伏的水。長期以來，理解和特征化這些時序模式是人類感知、計算機視覺和計算機制圖領(lǐng)域感興趣的問題。之前的研究給這些模式起了很多名字，如渦流運動（turbulent-flow motion）[17]、時序紋理（temporal texture）[30]、時變紋理（time-varying texture）[3]、動態(tài)紋理 [8]、紋理運動（textured motion）[45] 和時空紋理（spacetime texture）[7]。本論文作者使用「動態(tài)紋理」（dynamic texture）。該研究提出從外觀和時序動態(tài)的角度對動態(tài)紋理進行因子分析。然后使用因子分解結(jié)果完成基于示例紋理輸入的動態(tài)紋理合成，從而生成新型動態(tài)紋理實例。它還產(chǎn)生了一種新型風(fēng)格遷移形式，目標(biāo)外觀和動態(tài)可來自不同來源，如圖 1 所示。

圖 1：動態(tài)紋理合成。（左）給出一個輸入動態(tài)紋理作為目標(biāo)，本文提出的雙流模型能夠合成一個新的動態(tài)紋理，保留目標(biāo)的外觀和動態(tài)特征。（右）雙流模型使合成結(jié)合一個目標(biāo)的紋理外觀和另一個目標(biāo)的動態(tài)，從而產(chǎn)生二者的合成品。

本研究提出的模型由兩個卷積網(wǎng)絡(luò)（ConvNet）構(gòu)成——外觀流和動態(tài)流，二者分別經(jīng)過預(yù)訓(xùn)練，用于目標(biāo)識別和光流預(yù)測。與空間紋理研究 [13, 19, 33] 類似，本文根據(jù)每一個流的濾波器輸出的時空數(shù)據(jù)集，總結(jié)輸入動態(tài)紋理。外觀流建模輸入紋理每一幀的外觀，動態(tài)流建模時序動態(tài)。合成過程包括優(yōu)化隨機初始化的噪聲模式，以使每個流的時空數(shù)據(jù)與輸入紋理的時空數(shù)據(jù)相匹配。該架構(gòu)受到人類感知和神經(jīng)科學(xué)的啟發(fā)。具體來說，心理物理學(xué)研究 [6] 顯示人類能夠感知動態(tài)紋理的結(jié)構(gòu)，即使是在沒有外觀提示的情況下，這表明兩個流是獨立的。類似地，雙流假設(shè) [16] 從兩個路徑建模人類視覺皮層：腹側(cè)流（負責(zé)目標(biāo)識別）和背側(cè)流（負責(zé)運動處理）。

本文提出的對動態(tài)紋理的雙流分析也被應(yīng)用于紋理合成。研究者考慮了大量動態(tài)紋理，并展示了其方法能夠生成新型高質(zhì)量樣本，匹配輸入樣本的逐幀外觀和時序變化。此外，外觀和動態(tài)的因子分解還產(chǎn)生了一種新型的風(fēng)格遷移形式，一個紋理的動態(tài)可以與另一個紋理的外觀結(jié)合起來。我們甚至可以使用單個圖像作為外觀目標(biāo)來完成該操作，使靜態(tài)圖像變成動畫。最后，研究者通過大量用戶調(diào)研驗證了其生成紋理的逼真程度。

技術(shù)方法

本文提出的雙流方法包括外觀流（表示每一幀的靜態(tài)（紋理）外觀）和動態(tài)流（表示幀與幀之間的時序變化）。每個流包括一個卷積神經(jīng)網(wǎng)絡(luò)，其激活數(shù)據(jù)被用于特征花動態(tài)紋理。合成動態(tài)紋理是一個目標(biāo)為匹配激活數(shù)據(jù)的優(yōu)化問題。本文提出的動態(tài)紋理合成方法見圖 2。

圖 2：雙流動態(tài)紋理生成。Gram 矩陣集表示紋理的外觀和動態(tài)。匹配這些數(shù)據(jù)才能實現(xiàn)新紋理的生成和紋理之間的風(fēng)格遷移。

圖 3：動態(tài)流卷積神經(jīng)網(wǎng)絡(luò)。該 ConvNet 基于面向時空的能量模型 [7,39]，同時經(jīng)過光流預(yù)測的訓(xùn)練。圖中顯示了三個擴展（scale），實踐中研究者使用了五個擴展。

實驗結(jié)果

（動態(tài)）紋理合成的目標(biāo)是讓計算機生成人類觀察者無法區(qū)分是否為真實圖像的樣本。該研究同時也展示了各種合成結(jié)果，以及大量用戶調(diào)研，以定量評估新模型生成圖像的逼真程度。由于生成圖像隨時間變化的特性，本研究的結(jié)果多為視頻展示。研究人員表示，該雙流架構(gòu)是由 TensorFlow 實現(xiàn)的，并使用 NVIDIA Titan X（Pascal）GPU 生成結(jié)果，圖像合成的時間介于 1-3 小時之間，每次生成 12 幀，圖像分辨率為 256×256。

摘要：本論文提出了一個用于動態(tài)紋理合成的雙流模型。我們的模型基于兩個預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（ConvNet），分別針對兩個獨立任務(wù)：目標(biāo)識別、光流預(yù)測。給定一個輸入動態(tài)紋理，來自目標(biāo)識別卷積神經(jīng)網(wǎng)絡(luò)的濾波器響應(yīng)數(shù)據(jù)壓縮輸入紋理每一幀的外觀，而來自光流卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)會對輸入紋理的動態(tài)進行建模。為了生成全新的紋理，隨機初始化輸入序列經(jīng)過優(yōu)化后，用于匹配輸入紋理的數(shù)據(jù)與每個流的特征數(shù)據(jù)。受到近期關(guān)于圖像風(fēng)格遷移的啟發(fā)，同時受益于本文提出的雙流模型，我們還嘗試合成一種紋理的外觀與另一種紋理的動態(tài)，以生成全新的動態(tài)紋理。實驗表明，我們提出的方法可以生成全新的、高質(zhì)量樣本，可匹配輸入紋理的逐幀外觀及其隨時間的變化。最后，我們通過深入的用戶研究，對新的紋理合成方法進行量化評估。