9月25日，由北京市委宣傳部、北京市海淀區委員會、中國音像與數字出版協會指導，北京市海淀區委宣傳部支持，北京海淀中關村科學城電子競技產業協會、北京時度效文化傳播有限公司共同主辦的以“科技·創新·未來”為主題的2020 BIGC 北京國際游戲創新大會正式開幕。在此次大會上，微軟亞洲研究院首席研究員童欣做了主題為《智能圖形生成與創作》的報告，就深度學習和人工智能將如何改變游戲圖形的生成與創作進行了分享。

微軟亞洲研究院首席研究員童欣以下是童欣博士的演講實錄：

很榮幸有機會來到這里，向大家介紹一下我們在微軟亞洲研究院所做的與游戲相關的一些研究工作。今天我報告的題目叫做《智能圖形生成與創作》。首先做一個我所在的研究院的背景介紹：微軟亞洲研究院是微軟公司在亞太地區設立的研究機構，于1998年成立，主要致力于推動整個計算機科學領域的前沿技術發展。

我所在的研究小組，是網絡圖形組。我們主要的研究方向，是希望推動三維圖形技術和系統方面的創新，比如新的算法和系統。另一方面，我們也希望把我們在圖形技術和系統方面的研究成果，應用到微軟以及其他圖形產品當中去。比如在過去的20年中，我們研究的圖形技術已經應用到了第一代 Xbox 上所有水體效果的繪制中，還有《光暈》游戲里所有真實材質的繪制中，而且在光照貼圖的壓縮中也都使用了我們的技術。同時 Xbox 中向后兼容性的整個圖形系統的原型也是由我們微軟亞洲研究院研發的。我們研究組一直有一個愿景——希望讓每一個用戶都可以容易地創建、分享、使用可視圖形的內容，實現自己的想象。

智能圖形生成的背景與介紹

回看過去幾十年里計算機游戲中的計算機圖形，我們可以發現，游戲中的圖形從過去二維的、很簡單的像素顆粒級圖形，發展到現在，已經完全達到了一個影視級的、非常逼真的三維虛擬世界效果。玩家在游戲里可以感受到栩栩如生的場景和浸入式的體驗，充分享受游戲中的故事。如今游戲中的圖形技術，也已經應用到了影視內容的制作中，很多影視制作越來越多地采用游戲引擎來制作圖形內容。

看完這些生動、逼真的內容以后，我們再來看一看現有三維圖形內容生成的手段，你會發現一件很有意思的事情：現在的三維造型軟件，在過去的幾十年里，其實并沒有太多革命性的改變，我們還是通過一個復雜的二維界面和軟件工具，來創建三維的內容。我們也確實研發了很多新的三維捕捉設備，比如對形體而言，有三維掃描儀，對材質而言，有光穹，以及大家廣泛使用的運動捕捉設備等等。所有這些設備，如果大家曾經使用過的話，就會發現一些問題。

圖2：一些三維捕捉設備

首先，這些設備都非常昂貴，例如一臺最低端的三維掃描儀，專業一點的基本也要十萬人民幣起，更不用說那些幾百萬的運動捕捉設備了。第二，通常這些設備使用起來非常復雜，它們大多都需要專用的場地、專用的處理，即使獲得了數據，也會需要很多手工的工作，經過處理之后，才可能給最終用戶使用。所有這些過程需要大量的人力、專業的技能和訓練，在這之后，才能創作出想要的內容。

總結一下傳統三維圖形的創作手段，我們會發現問題在于：第一，它們都是高集中度的，需要專業的生產者經過多年培訓之后，才能創作出高質量的內容。第二，整個生產流程實際上是高強度的，需要工作很長時間，很多藝術家和程序員可能需要做一年、兩年甚至更長的時間，才能做出一款全新游戲中的圖形內容。第三，創造出內容后唯一增長的是這些藝術家以及相關工作人員的經驗，很難被其他人使用，或者大量、重復的應用到其他游戲中去，這是一個很浪費的事情。

近年來，隨著機器學習技術的發展，在圖形學研究中，大家也開始越來越多地探索如何結合人工智能的技術來進行圖形內容的生成。總的來說，其基本思路就是廉價設備（如深度攝像頭或者彩色攝像頭）+智能算法+少量的用戶輸入，從而可以更加方便的產生出高質量的三維內容。若要實現這個思路，那么就要依賴于已有的大量數據和機器學習技術。

當智能圖形生成越來越多地被用于專業的圖形內容生產中時，我們會發現，和傳統方法相比，圖形內容的生成已經從手工驅動或者算法驅動，變成了數據驅動。這意味著，當產生了越來越多的高質量數據時，工作室或者游戲的開發人員就有可能產生出更多好的結果，即高復用度。同時，在整個過程中，手工工作會越來越少，計算會越來越重要。當大量的手工工作變成自動或半自動的時候，大家可以想到，實際上我們對內容創建的集中度的要求降低了，這意味著你可以讓很多人來貢獻內容。這是一件很好的事情。

接下來，我會主要展示在過去幾年中，包括今年，我們所做的一些最新的研究工作。坦白地說，這些研究工作離真正的落地應用，即真正用于游戲創作，可能還有一段距離，但我們希望通過這些技術的展望，能讓大家看到技術發展在未來的三到五年內，會給我們的游戲內容或者圖形內容的創作，帶來哪些新的可能性。

我將從以下幾個部分分享，第一個部分是如何通過人工智能技術，結合數據，幫助大家生成傳統的圖形內容，如三維模型、材質庫等等。第二部分是如何結合現在的人工智能技術、機器學習技術，幫助大家更容易地把已有的真實世界的場景、物體高度真實地數字化，放到游戲和計算機里。

智能圖形素材生成

首先來看智能圖形素材生成這一部分。我們發現藝術家其實很善于畫二維的草圖。當你看了草圖之后，很容易通過草圖想象出來一個三維模型。因此，我們想做的一件事情就是當用戶腦海里有了一個三維物體，或者他看到一個三維物體之后，他通過勾勒像圖3中間這樣的草圖，讓系統自動幫他生成一個很不錯的三維形狀，或者一個初始的三維形狀。有了這個之后，用戶可以快速地通過畫大量草圖來做一個概念設計，之后再把差不多的三維形狀放到三維造型軟件里做一些細化，這樣就可以快速生成他想要的三維內容了。

圖3：用戶勾勒的二維草圖與相關的三維模型

為了實現這個想法，我們采用了最新的機器學習和深度學習的技術。通過產生大量的訓練數據，來建立草圖和對應三維形狀的對應關系。在給出數據之后，系統就建立了一個訓練好的神經網絡，并根據用戶的輸入自動預測三維形狀。用戶可能會說，這個技術聽起來很神奇，但是它不一定靠譜吧，因為我給你一個二維草圖，我怎么知道你要預測一個什么東西，如果預測的不是我要的怎么辦。那也沒有問題，因為我們的系統允許用戶不斷的輸入想要的細節來進行修改。系統網絡會根據用戶添加的輸入不斷細化形狀，最后快速生成你想要的三維結果，比如圖4。

圖4：用戶修改示范

最開始，用戶可能畫了一個輪廓，我們生成了一個立體的像海星的形狀，這時用戶說，我希望海星中間凸起的地方，更尖銳一點，用戶可以畫幾道，隨著這個改變，系統會自動地細化它的形狀，在不斷地生成越來越多的細節之后，最后就生成了用戶想要的形狀。我們現在來看一個 demo。

這個 demo 展示了畫海星的過程。我們希望整個過程是一個與用戶完全交互的過程。我們不僅把這個系統教給一些沒有繪畫經驗的用戶使用，同時我們也請了來自北京電影學院動畫學院的學生，這些具有一定造型經驗的專業用戶，來使用。圖5的這些結果，是一些比較專業的用戶在大概半小時左右的學習，掌握系統之后，通過繪制草圖所創作出來的各種各樣的三維形狀，大家可以看到既有很簡單的形狀，也有很漂亮復雜的形狀。我們希望這樣的系統能夠很大程度地減輕用戶創作大量三維形狀、制作概念設計時的負擔。

圖5：專業用戶的作品

第二個工作是我們怎么幫助用戶快速生成更加真實的材質貼圖的。如果大家對游戲圖形創作有一些經驗的話就知道，很多時候我們想讓一個東西很接近現實，除了三維形狀之外，我們還要給它一個很真實的材質貼圖，比如木頭或者鐵，來決定這個物體在不同的光照下的顏色明暗和反光，使它看起來和真實的一樣。

以前藝術家是在真實的世界中拍一張圖，然后把這張圖放到 Photoshop 里，再通過大量的操作來生成它的反射貼圖、幾何細節、紋理貼圖等等，最后交給游戲去使用。我們希望通過我們的研究，用戶只需拿一個手機出去，拍幾張圖片，系統就可以全自動生成逼真的物體效果。如果用戶拍一張照片，系統可以生成一個非常相似的材質；如果用戶拍了很多張，并且從各個方面仔細地拍攝的話，系統的生成結果質量就會越高，越接近于想要的真實世界的材質。同時，我們還希望算法能夠支持任意的分辨率，因為通常用戶都希望分辨率越高越好，那么不管是一張小圖還是大圖，送到算法里，都希望它能夠生成很好的結果出來。

圖6：材質貼圖圖片生成

為了做這件事情，我們結合了深度神經網絡技術以及傳統的反向繪制優化技術，來實現這個優化的過程。基本想法是這樣的：首先挑出一張圖，結合深度學習網絡，預測一個初步的材質結果。這個初步的結果可能看起來還行，但是不太好，沒關系。隨后我們把它送到一個編碼器里，通過優化中間這個編碼，使得輸出材質繪制結果和原來輸入的這張圖進行對比差別最小。如果有多張圖，我們希望輸出的這個材質能夠和所有的多張拍攝的圖片都一樣，那么就可以認為這個材質很合適了。基本上是這樣一個過程，整個過程是全自動的，不需要用戶任何的手工或者輸入。

圖7：深度逆繪制技術的應用過程

圖8展示了一個結果。這是在我們的辦公室里拍的一張賀卡的材質，它表面有一些金屬的部分，也有一些紙的部分，同時還有一些凸凹。我們大概拿手機拍了20張左右的圖，我比較了最上面，叫做 ground truth 的部分，就是我們的真實賀卡樣本、在光照下的結果。如果我只拍一張，大家看到，實際上大部分的結果還是對的，但里面的反光就看著不是太好；如果拍20張左右之后，所產生出來的材質的這個反光，還有所有的細節，基本上就和輸入圖像的真實材質沒有什么差別了。這個辦法實際上是一個非常好的辦法。即使在時間不允許、條件不允許的情況下，用戶只拍了一張，那這個結果也已經基本可用了。你拍多張以后，可以保證這個結果就是你想要的，這就避免了使用專業設備去拍攝很多的東西。

圖8：在賀卡上的應用效果

視頻2是另外一個結果，這是一個皮革，在這里我們只拍了2張圖，大家看到這個皮革具有非常復雜的材質細節外觀，它有皮革的部分、有線的部分，有兩種材質，同樣，它表面有非常豐富的凹凸變化。所有這些變化都能被我們完美地恢復出來，然后我們把它放到一個新的虛擬環境中，當我們進行繪制時，所有的材質都能展示出非常真實的外觀、反光等效果。

智能圖形數字化

剛才我們講到了，如何用機器學習和人工智能技術幫助大家生成圖形的素材，那我們怎么用這些技術幫助大家去做真實世界的數字化呢？

真實世界數字化的一個任務是通過掃描一個真實世界的物體，生成這個物體高度真實的數字克隆。這個過程，我們希望足夠簡單，用戶拿手機或者一個單反相機，不需要用任何專業的設備，只要繞著物體拍一拍就可以了。同時，我們希望拍攝的結果不是一個只能在原有的視點觀看的照片集合，而是用戶想從什么角度看，就能從什么角度看的全新的呈現。因為原來在拍攝的時候可能是在一個特定的光照下進行的，那我們希望在任何新的光照下，都能夠看到這個物體，不希望對物體有限制。對于玩具貓這種毛茸茸的東西，如果大家知道一些計算機視覺和圖形學的知識，就會知道，這樣的物體在以前是非常難拍的。我們的技術既能拍半透明的物體，也能拍毛茸茸的物體，還可以拍一些簡單的物體，比如茶壺。

同樣，我們也希望我們的技術可以結合深度神經網絡，建立一個全新的三維物體表達。傳統的方式是一個三維的精確的形狀加一個材質貼圖。然而，這種精確的三維形狀加材質對很多物體，比如毛茸茸的物體、半透明的物體，都需要有不同的表達，而這些不同的表達相差甚遠，很難用一個統一的方式來進行繪制和建模。所以我們希望結合深度神經網絡做一個統一的深度物體表達。我們的物體的幾何是物體一個粗略的三維幾何，在這個幾何上，我們生成了材質貼圖，但這種不是物理意義的材質貼圖，而是由神經網絡生成的，我們叫做深度特征材質貼圖。有了這些抽象的材質貼圖，再加上三維形狀，通過訓練好的神經網絡進行投影繪制、生成出用戶想要的任何圖像，這是一個全新的繪制流水線。

有了這個技術，大家可以看到，通過手機所拍攝的圖像就可以非常真實地重建出我們現實世界的任何場景、物體。比如圖9中最左邊的半透明物體，可以看到，把它放到一個新的光照下，這和我們拍攝的光照是完全不同的，但仍可以看到它表面的高光的變化，這些半透明的效果都被完美地重現了出來。圖9中間這個物體是毛絨的玩具，幾個物體互相之間有遮擋，光照在上面的時候不僅有陰影，還有光在它們之間的一些反射效果，非常復雜。我們的技術可以很真實地再現所有的結果，保證在任何光照和視點下都可以進行非常高度真實感的繪制。圖9最右邊是一個小玩具，當這個玩具用我們的技術表達了以后，可以把它放到不同的光照環境中去繪制，視點也可以進行遠近的調整。大家可以想象一下，這樣的技術意味著我們可以快速地把真實世界的任何一個物體融入到游戲里，變成一個道具，同時也方便大家把真實的物體圖形傳送到其他地方去，比如做一些和增強現實等相關的應用，該技術都可以快速地生成很好的結果。

圖9：智能圖形數字化的結果展示

剛才講到了從傳統的流水線慢慢地發展，結合深度學習技術，加上傳統的三維形狀表達來做新的繪制算法，幫助大家生成更加真實的效果。而隨著深度學習的發展，未來將可以完全繞開三維形狀，直接從大家收集的圖像出發，生成高度真實的圖像。

以前我們做游戲、做很多圖像圖形的生成時，最重要的就是要恢復三維形狀。那么當你有了這些方法之后，就會帶來一種全新的可能性：也許我們只要拍足夠多真實世界的圖片和視頻，我們就可以生成新的內容了，我們可能再也不需要進行三維建模、材質建模了。

以上這些是我們在圖形方面所做的一些研究成果，其實在微軟亞洲研究院，除了我們所做的圖形圖像方面的工作，還有很多研究組都在對游戲平臺做貢獻。比如，我們的機器學習組就和 Xbox 的 PlayFab 合作構建智能后臺，幫助 Xbox 改進了排行榜的響應時間，通過智能算法和超強的在線數據處理引擎，把它從兩分鐘一次更新提升到毫秒級的更新。此外，還有我們的語音組等等，都對游戲不同的內容生成做出了技術貢獻。

總結與展望

最后總結一下，我剛才講的是一些例子，通過這些例子我希望闡述的一個觀點是：深度學習和人工智能，很可能會改變游戲，特別是圖形方式產生的開發方式。我們可能不能說一定會改變，但這是很可能會改變的。一個重要的事實是，我們的數據生成方法已經從人力驅動逐漸變成數據驅動，手動算法開發也會優化到基于數據分析的自動算法優化。如果你做神經網絡的優化，會看到很多東西已經不是靠人手了，而是靠大量的數據分析，反饋數據的搜索，再做神經網絡的優化，整個過程可能全都自動化了。我們甚至可能創造一個全新的方式，徹底拋開已有的傳統圖形的表達，產生一種基于圖像的三維內容的繪制和生產系統，這都是可能的。

往更大的方面講，我們會看到有三種力量在慢慢地改變我們游戲的開發方式，一個就是云，當我們有了云端游戲（cloud gaming）以后，我們所有的游戲都不在單機上運行，而是在服務器上運行，那么游戲引擎怎么做到可擴展？我們怎么在一臺機上運行多個游戲引擎，多個備份，我們一個游戲引擎能運行在50個 GPU 上嗎，怎么去做？我們還不知道。

人工智能不僅會改變內容創造的方式，其實它也會改變游戲運行的方式。比如，我們可以將深度學習網絡運用到現有的圖形繪制流水線中去。我們也會有一些新的設備，比如我們的 GPU 有專用的深度學習計算單元，不管你用不用，它都在那兒，那就意味著當你做繪制的時候，如果你也用了這些深度學習的算法，你的代價是零，基本不增加任何的開銷。還有一些新的終端設備，像 VR、AR 等等，所有這些硬件的新設備，我們的云的新平臺，加上我們人工智能的新技術，我相信會對整個游戲行業的開發、運行、運營都帶來一個全新的改變和革命。
編輯：hfy