TensorFlow重磅推出一個(gè)全新的圖形工具TensorFlow Graphics，結(jié)合計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺技術(shù)，以無監(jiān)督的方式解決復(fù)雜3D視覺任務(wù)。

近年來，可插入到神經(jīng)網(wǎng)絡(luò)架構(gòu)中的一種新型可微圖形層(differentiable graphics layers)開始興起。

從空間變換器(spatial transformers)到可微圖形渲染器，這些新型的神經(jīng)網(wǎng)絡(luò)層利用計(jì)算機(jī)視覺、圖形學(xué)研究獲得的知識(shí)來構(gòu)建新的、更高效的網(wǎng)絡(luò)架構(gòu)。它們將幾何先驗(yàn)和約束顯式地建模到神經(jīng)網(wǎng)絡(luò)中，為能夠以自監(jiān)督的方式進(jìn)行穩(wěn)健、高效訓(xùn)練的神經(jīng)網(wǎng)絡(luò)架構(gòu)打開了大門。

從高級(jí)層面來說，計(jì)算機(jī)圖形學(xué)的pipeline需要3D物體及其在場(chǎng)景中的絕對(duì)位置、構(gòu)成它們的材質(zhì)的描述、光、以及攝像頭。然后，渲染器對(duì)這個(gè)場(chǎng)景描述進(jìn)行解釋，生成一個(gè)合成渲染。

相比之下，計(jì)算機(jī)視覺系統(tǒng)是從圖像開始的，并試圖推斷出場(chǎng)景的相關(guān)參數(shù)。也就是說，計(jì)算機(jī)視覺系統(tǒng)可以預(yù)測(cè)場(chǎng)景中有哪些物體，它們由什么材料構(gòu)成，以及它們的3D位置和方向。

訓(xùn)練一個(gè)能夠解決這些復(fù)雜的3D視覺任務(wù)的機(jī)器學(xué)習(xí)系統(tǒng)通常需要大量的數(shù)據(jù)。由于給數(shù)據(jù)打標(biāo)簽是一個(gè)成本高昂而且復(fù)雜的過程，因此設(shè)計(jì)能夠理解三維世界、而且無需太多監(jiān)督的機(jī)器學(xué)習(xí)模型的機(jī)制非常重要。

將計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)技術(shù)結(jié)合起來，我們得以利用大量現(xiàn)成的無標(biāo)記數(shù)據(jù)。

如下圖所示，這個(gè)過程可以通過合成分析來實(shí)現(xiàn)，其中視覺系統(tǒng)提取場(chǎng)景參數(shù)，圖形系統(tǒng)根據(jù)這些參數(shù)返回圖像。如果渲染結(jié)果與原始圖像匹配，則說明視覺系統(tǒng)已經(jīng)準(zhǔn)確地提取出場(chǎng)景參數(shù)了。

在這種設(shè)置中，計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)相輔相成，形成了一個(gè)類似于自動(dòng)編碼器的機(jī)器學(xué)習(xí)系統(tǒng)，能夠以一種自監(jiān)督的方式進(jìn)行訓(xùn)練。

可微圖形層

接下來，我們將探討TensorFlow Graphics的一些功能。更多信息可以訪問GitHub：

https://github.com/tensorflow/graphics/

變換(Transformations)

物體變換(Object transformations)功能能夠控制物體在空間中的位置。

如下圖所示，利用軸角度可以將立方體旋轉(zhuǎn)起來。旋轉(zhuǎn)軸指向上方，角度為正，則使立方體逆時(shí)針旋轉(zhuǎn)。

在下面的Colab示例中，我們展示了如何在一個(gè)神經(jīng)網(wǎng)絡(luò)中訓(xùn)練旋轉(zhuǎn)形式，該神經(jīng)網(wǎng)絡(luò)被訓(xùn)練來預(yù)測(cè)物體的旋轉(zhuǎn)和平移。

https://colab.sandbox.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/6dof_alignment.ipynb

這項(xiàng)任務(wù)是許多應(yīng)用程序的核心，比如專注于與環(huán)境交互的機(jī)器人。機(jī)器人要用機(jī)械臂抓取物體，需要精確地估計(jì)物體相對(duì)于機(jī)械臂的位置。

建模相機(jī)(Modelling cameras)

相機(jī)模型(Camera models)在計(jì)算機(jī)視覺中有著至關(guān)重要的作用，因?yàn)橄鄼C(jī)會(huì)極大地影響投影到圖像平面上的3D物體的外觀。

如下圖所示，立方體看起來是上下縮放的，而實(shí)際上發(fā)生這種變化只是由于相機(jī)焦距發(fā)生了變化。

下面的Colab示例提供了更多關(guān)于相機(jī)模型的細(xì)節(jié)，以及如何在TensorFlow中使用它們的具體示例。

https://colab.sandbox.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/intrinsics_optimization.ipynb

材料

材料模型(Material models)定義了光和物體交互的方式，賦予它們獨(dú)特的外觀。

例如，有些材料，如石膏，能均勻地向所有方向反射光線，而有些材料，如鏡子，則純粹是鏡面反射。

準(zhǔn)確地預(yù)測(cè)材料屬性是許多視覺任務(wù)的基礎(chǔ)。例如，可以讓用戶將虛擬家具放置在環(huán)境中，家具的照片可以與室內(nèi)環(huán)境逼真地融合在一起，從而讓用戶對(duì)這些家具的外觀形成準(zhǔn)確的感知。

在下面的Colab筆記本，可以學(xué)習(xí)如何使用Tensorflow Graphics生成如下的渲染。你也可以試驗(yàn)不同的材料和光的參數(shù)，了解它們?nèi)绾蜗嗷プ饔谩?/p>

https://colab.sandbox.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/reflectance.ipynb

幾何——3D卷積和池化

近年來，從智能手機(jī)的深度傳感器到自動(dòng)駕駛汽車激光雷達(dá)，以點(diǎn)云或網(wǎng)格的形式輸出3D數(shù)據(jù)的傳感器越來越常用。由于這類數(shù)據(jù)有著不規(guī)則的結(jié)構(gòu)，與提供規(guī)則網(wǎng)格結(jié)構(gòu)的圖像相比，在這些表示上執(zhí)行卷積更難實(shí)現(xiàn)。

TensorFlow Graphics提供兩個(gè)3D卷積層和一個(gè)3D池化層，例如，允許網(wǎng)絡(luò)在網(wǎng)格上執(zhí)行語義部分分類（如下圖所示）：

更多信息參見 Colab notebook：

https://colab.sandbox.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb

TensorBoard 3d

可視化debug是評(píng)估實(shí)驗(yàn)是否朝著正確方向進(jìn)行的一種很好的方法。為此，TensorFlow Graphics提供了一個(gè)TensorBoard插件，可以交互式地對(duì)3D網(wǎng)格和點(diǎn)云進(jìn)行可視化。

開始使用吧！

TensorFlow Graphics兼容TensorFlow 1.13.1及以上版本。安裝庫(kù)的API和說明見：

https://www.tensorflow.org/graphics

Github:https://github.com/tensorflow/graphics