YannLecun曾贊譽GAN為“近十年來機器學習領域最有趣的想法”，一經提出便受萬眾矚目。伴隨著研究的逐步深入，GAN已然衍生出了多種多樣的形態。Crazymuse AI近期在Youtube中推出一個視頻，介紹了十大GAN背后的數學原理。本文便帶領讀者盤點一下這些各具特色的GAN。

我不用監督—InfoGANs

InfoGAN是生成對抗網絡信息理論的擴展，能夠以完全非監督的方式得到可分解的特征表示。它可以最大化隱含(latent)變量子集與觀測值之間的互信息(mutual information)，并且發現了有效優化互信息目標的下界。

具體案例：

成功分解了MNIST數據集中數字形狀的手寫風格特征；

在一個3D人臉數據集中，使用多個連續的編碼，得到一些不同的特征：人臉的轉向、人臉的仰角、人臉的寬窄以及圖片亮度；

在SVHN數據集中，得到不同特征可以分解數字在圖像中的亮度以及區分圖像中不同的數字；

在CelebA數據集中，同樣的可以通過不同的編碼獲取一些特征，比如人臉不同的轉向角度，是否帶了眼鏡，發型的不同，情緒的變化。

InfoGANs最大的好處就是不需要監督學習以及大量額外的計算花銷就能得到可解釋的特征。

相對的力量—Relativistic GANs

Relativistic GANs是在Standard GAN的基礎上使用一個relativistic判別器(用來估計“給定的真實數據”比“隨機抽樣的假數據”更真實的概率)。同時該方法也證明了Standard GAN缺失了一個重要的基本特性，并且使用relativeistic判別器能夠讓任何都變得GAN更加穩定。

具體案例：

在含有2011張(256x256)圖片的小樣本集上進行實驗，SGAN和LSGAN根本無法完成訓練(它們在產生噪聲的時候就停滯了)，Spectral GAN和WGAN-GP的表現性能也是較差。而Relativistic GANs的實驗結果是非常理想的。

因此relativism不僅能夠提高GAN的穩定性，還能輸出更高質量的數據樣本。

看我七十二變—CycleGANs

Image-to-image問題是一類視覺和圖像領域中的問題，其目標是使用對齊圖像對(aligned image pairs)的訓練集來學習輸入圖像和輸出圖像之間的映射。但是很多方法是無法使用成對的訓練數據的。而CycleGANs就能解決這個問題。其大致思路是：學習一個映射G:X→Y，使用對抗性損失(adversarial loss)讓來自G(X)的圖像分布與分布Y無法區分。因此這個映射是高度無約束的(under-constrained)，將它與它的逆映射F:Y→X耦合，并引入一個循環一致性損失(cycle consistency loss)來推動F(G(X))≈X(反之亦然)。

具體案例：

將莫奈的畫作轉換為照片；

將照片轉換為名家(莫奈、梵高、塞尚、浮世繪)風格圖片；

目標物體紋理互換；

圖像季節轉換；

照片增強:景深狹窄。

最后與以往的幾種方法做了比較，證明了CycleGANs的優越性。

你需要“注意力”—SAGANs

SAGANs全稱Self-Attention Generative Adversarial Network，在GAN生成中加入了attention的機制，同時將光譜歸一化(spectral normalization)應用到生成器當中。

具體案例：

將目前最好的Inception分數從36.8分提高到了52.52分；將ImageNet數據集的Frechet Inception距離從27.62降低到18.65。

SAGANs將實驗結果提到了一個新高度。

一步一個腳印—Progressive GANs

Progressive GANs是一種生成器和判別器逐層增長的訓練方法，從低分辨率圖像逐步生成高清圖。為了解決訓練不穩定的問題和不良競爭問題，提出兩個trick：判別器加入一個minibatch stddev層、對生成器和判別器進行歸一化。

具體案例：

在無人監督的CIFAR10數據集中實現8.80的記錄初始得分。

該方法加速了訓練速度，并且提高了穩定性。

我用CNN—DCGANs

DCGANs采用CNN作為生成器和判別器的實現。更加強調在無監督學習方面的應用，或者更確切地，更關心在未標注的大數據集上學習可用的特征表示。在圖片分類問題上展示了GAN方法可以取得和其他無監督方法相同的性能。

具體案例：

在Large-scale Scene Understanding (LSUN)臥室數據集上訓練了一個包含300多萬個訓練樣例的模型。展示了一個訓練期間、模擬在線學習以及收斂后的樣本，證明模型不是通過簡單過度擬合/記憶訓練來產生高質量樣本的。

在人臉數據集(包含10K個人，3M張圖像)上進行實驗，運行OpenCV人臉檢測器，并保持足夠高分辨率。

使用Imagenet-1k作為無人監督訓練的自然圖像的來源。 用32×32min-resized crps進行訓練。

利用DCGANs對上述各種圖像數據集進行訓練，并展示了數據，證明我們的深度卷積對抗可以替代生成器和判別器。此外，將學習的特征用于其它新任務，結果證明該方法具有適用性。

我很穩定—WGANs

WGANs是傳統GAN訓練的替代方案。 這個新模型可以提高學習的穩定性，擺脫模式崩潰等問題，并提供對調試和超參數搜索有重要意義的學習曲線(learning curves)。 此外，相應的優化問題是合理的，進一步顯示對應的優化問題合理性，并為分布間其它距離的深入關聯性提供理論工作。

具體案例：

生成圖像實驗。學習的目標分布是LSUN臥室數據集。用DCGAN作為基準進行比較。生成的圖像是64x64的3-channel圖像。

實驗證明，“損失”對WGANs是非常重要的，并且WGANs能夠提高穩定性。

再創新高—BEGANs

BEGANs是一種新的均衡執行的方法，該方法與從Wasserstein距離導出的損失相匹配，用于訓練基于自動編碼器的生成對抗網絡。 該方法在訓練期間平衡發生器和判別器。 此外，它提供了一種新的近似收斂措施，快速穩定訓練和高視覺質量。 并且還衍生出一種控制圖像多樣性和視覺質量之間權重的方法。 即使在更高的分辨率下也能創造視覺質量的新里程碑。

具體案例：

實驗采用360K個名人的面部圖像數據集代替CelebA數據集。使用Adam訓練我們的模型，初始學習率(learning rate)為0.0001，當收斂的度量停止時，衰減2倍。 實驗訓練了從32到256的不同分辨率的模型，并添加或刪除卷積層以調整圖像大小，保持恒定的最終下采樣圖像大小為8×8。

該方法至少部分地解決了一些突出的GAN問題，例如測量收斂、控制分布多樣性以及維持判別器和發生器之間的平衡等。

自動編碼大法好—VAEGANs

我們提出了一個自動編碼器，它利用學習的表示來更好地測量數據空間中的相似性。 通過將變分自動編碼器(variational autoencoder)與生成對抗網絡相結合，可以使用GAN判別器中的學習特征表示作為VAE重建目標的基礎。 因此，用feature-wise誤差替換element-wise誤差，以更好地捕獲數據分布。

具體案例：

將的方法應用于面部圖像，并用VAEGANs在CelebA的面部圖像上進行訓練。該數據集由202,599個圖像組成，注釋有40個二進制屬性，如眼鏡，劉海，蒼白皮膚等。

訓練后的結果表明，普通的VAE能夠清晰地繪制臉部的正面部分，但偏離中心的圖像變得模糊；VAEDisl甚至偏離中心產生更清晰的圖像，因為重建誤差被提升到像素之外。相比之下，VAE / GAN可以產生更清晰的圖像。表明它在視覺保真度方面較優，具有元素相似性度量。此外，該方法可以使用簡單的算法來修改高級抽象視覺特征（例如，佩戴眼鏡）。

處理序列我最強—SeqGANs

SeqGAN的提出是用來解決過去的GAN方法面對離散表征(discrete token)的生成序列時，具有一定的局限性的問題。將數據生成器建模為強化學習（RL）中的隨機策略，SeqGAN通過直接執行梯度策略更新來繞過生成器區分問題。 RL的reward信號來自在完整序列上判斷的GAN判別器，并且使用蒙特卡羅搜索(Monte Carlo search)傳遞回中間狀態。

具體案例：

分別與一種隨機表征生成模型、MLE、scheduled sampling以及Policy Gradient with BLEU (PG-BLEU)四種方法做比較。

文本生成：使用了16,394個中文絕句的語料庫(每個絕句包含四行，共20個字符)，創作詩歌；使用了一個奧巴馬政治演說的語料庫(11,092段)，來生成政治演講。

音樂創作：使用諾丁漢(Nottingham)數據集作為訓練數據(695個midi文件格式的民間音樂集合)。使用88個數字來表示88個音高(對應于鋼琴上的88個音符)。 通過每0.4s的音高采樣，我們將midi文件轉換為1到88的數字序列，長度為32。

根據對合成數據和實際廣泛的實驗證明，Seq GANs與強基線(strong base-line)相比有了顯著的改進。

以上就是十款各具特色的GANs，若需深入了解其數學原理，可點擊訪問下方鏈接：

1. InfoGANs

https://arxiv.org/abs/1606.03657

2. RelativisticGANs

https://arxiv.org/abs/1807.00734

3. CycleGANs

https://arxiv.org/abs/1703.10593

4. SAGANs

https://arxiv.org/abs/1805.08318

5. ProgressiveGANs

https://arxiv.org/abs/1710.10196

6. DCGANs

https://arxiv.org/abs/1511.06434

7. WGANs

https://arxiv.org/abs/1701.07875

8. BEGANs

https://arxiv.org/abs/1703.10717

9. VAEGANs

https://arxiv.org/abs/1512.09300

10. SeqGANs

https://arxiv.org/abs/1609.05473