GAN大盘点，聊聊这些年的生成对抗网络 : LSGAN, WGAN, CGAN, infoGAN, EBGAN, BEGAN, VAE

ゞ浴缸里的玫瑰 2022-01-05 10:13 533阅读 0赞

## 转自：[http://nooverfit.com/wp/%E7%8B%AC%E5%AE%B6%EF%BD%9Cgan%E5%A4%A7%E7%9B%98%E7%82%B9%EF%BC%8C%E8%81%8A%E8%81%8A%E8%BF%99%E4%BA%9B%E5%B9%B4%E7%9A%84%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C-lsgan-wgan-cgan-info/][http_nooverfit.com_wp_E7_8B_AC_E5_AE_B6_EF_BD_9Cgan_E5_A4_A7_E7_9B_98_E7_82_B9_EF_BC_8C_E8_81_8A_E8_81_8A_E8_BF_99_E4_BA_9B_E5_B9_B4_E7_9A_84_E7_94_9F_E6_88_90_E5_AF_B9_E6_8A_97_E7_BD_91_E7_BB_9C-lsgan-wgan-cgan-info] ##

# #

## **VAE与GAN** ##

聊到随机样本生成, 不得不提[VAE][]与[GAN][], VAE用[KL-divergence][]和encoder-decoder的方式逼近真实分布. 但这些年GAN因其”端到端”灵活性和隐式的目标函数得到广泛青睐. 而且, GAN更倾向于生成清晰的图像:

[![Screenshot-from-2017-10-08-103621.png][]][Screenshot-from-2017-10-08-103621.png]

VAE与GAN生成对比

GAN在10次Epoch后就可以生成较清晰的样本, 而VAE的生成样本依旧比较模糊. 所以GAN大盘点前, 我们先比较一下VAE与GAN的结构差别:

[![Screenshot-from-2017-10-08-114940.png][]][Screenshot-from-2017-10-08-114940.png]

VAE与GAN结构比较

VAE训练完全依靠一个假设的loss函数和[KL-divergence][]逼近真实分布:

[![Screenshot-from-2017-10-08-115443.png][]][Screenshot-from-2017-10-08-115443.png]GAN则**没有假设单个loss函数**, 而是让**判别器D**和**生成器G**之间进行一种零和博弈, 一方面, **生成器G**要以生成假样本为目的(loss评估), 欺骗**判别器D**误认为是真实样本:

[![Screenshot-from-2017-10-08-115823.png][]][Screenshot-from-2017-10-08-115823.png]另一方面, **判别器D**要以区分真实样本**x**和假样本**G(z)**为最终目的(loss评估):

[![Screenshot-from-2017-10-08-120305.png][]][Screenshot-from-2017-10-08-120305.png]一般, **判别器D在GAN训练中是比生成器G更强的网络, 毕竟, 网络G要从D的判别过程中学到”以假乱真”的方法**. 所以, 很大程度上, G是跟着D学习的.

当然, 生成对抗网络也有一些问题, 比如经常很难训练(DCGAN试图解决), 有时候(特别是高像素图像), GAN生成**图像不清晰**, 还有时候, 生成图片多样性太差(只是对真实样本的简单改动).

这些问题, 催生出近年来各种有意思的GAN改进算法:

## [LSGAN(最小二乘GAN)][LSGAN_GAN] ##

传统GAN中, D网络和G网络都是用简单的[交叉熵loss][loss]做更新, [最小二乘GAN][LSGAN_GAN]则用最小二乘(Least Squares) Loss 做更新:[![Screenshot-from-2017-10-08-141246.png][]][Screenshot-from-2017-10-08-141246.png]

选择最小二乘Loss做更新有两个好处, 1. 更严格地惩罚远离数据集的离群Fake sample, 使得生成图片更接近真实数据(同时图像也更清晰) 2. 最小二乘保证离群sample惩罚更大, 解决了原本GAN训练不充分(不稳定)的问题:

[![Screenshot-from-2017-10-08-141822.png][]][Screenshot-from-2017-10-08-141822.png]

来自: https://arxiv.org/pdf/1611.04076.pdf

但缺点也是明显的, LSGAN对离离群点的过度惩罚, 可能导致样本生成的”多样性”降低, 生成样本很可能只是对真实样本的简单”模仿”和细微改动.

## [**WGAN**][WGAN] ##

**[DCGAN][]**用经验告诉我们什么是比较稳定的GAN网络结构, 而**[WGAN][]**告诉我们: 不用精巧的网络设计和训练过程, 也能训练一个稳定的GAN.

**[WGAN][] **通过剪裁D网络参数的方式, 对D网络进行稳定更新(Facebook采用了一种名叫”**Earth-Mover**“的距离来度量分布相似度).

[![Screenshot-from-2017-10-08-144045.png][]][Screenshot-from-2017-10-08-144045.png]

来自: https://arxiv.org/pdf/1701.07875.pdf

但是, 有时一味地通过裁剪weight参数的方式保证训练稳定性, 可能导致生成低质量低清晰度的图片.

## [**WGAN-GP**][WGAN-GP] ##

为了解决WGAN有时生成低质量图片的问题, [WGAN-GP][]舍弃裁剪**D网络weights参数**的方式, 而是采用**裁剪D网络梯度的方式(依据输入数据裁剪), **以下是WGAN-GP的判别器D的Value函数和生成器G的Value函数:

[![Screenshot-from-2017-10-08-171635.png][]][Screenshot-from-2017-10-08-171635.png]

[WGAN-GP][]在某些情况下是WGAN的改进, 但是如果你已经用了一些可靠的GAN方法, 其实差距并不大:

[![Screenshot-from-2017-10-08-172028.png][]][Screenshot-from-2017-10-08-172028.png]

## [DRAGAN][] ##

[DRAGAN][]本质上也是一种梯度裁剪（虽然文章自称是新颖的正则化方式），其判别器和生成器的价值函数类似WGAN-GP：

[![QQ_E6_88_AA_E5_9B_BE20171009150100.png][]][QQ_E6_88_AA_E5_9B_BE20171009150100.png]作者的初衷是希望避开局部最优解，获得更稳定的GAN训练。该算法另一个特点是实现简单， 作者提供的源码如下：

[https://github.com/kodalinaveen3/DRAGAN][https_github.com_kodalinaveen3_DRAGAN]

## **[EBGAN][]（基于能量函数的GAN）** ##

EBGAN我们[在之前一期讨论过][Link 1]，EBGAN**在边缘的生成效果上更流畅**, 而且加了特殊的正则项, 在生成的类别上, EBGAN**更倾向于生成不同的脸型和人种，下图是论文EBGAN和DCGAN的比较：**

![Screenshot-from-2016-11-18-203958.png][]

DCGAN个EBGAN生成人脸对比

EGGAN的判别器比较特殊用了encoder-decoder的结构：

![QQ_E6_88_AA_E5_9B_BE20161118173125.png][]

## [BGAN（Boundary-Seeking GAN）][BGAN_Boundary-Seeking GAN] ##

BGAN优势在于**生成离散样本（当然像图像这样的连续样本也可以支持）。**

BGAN的生成器以不断生成决策边界上的样本为目标：

## [![QQ_E6_88_AA_E5_9B_BE20171009164232.png][]][QQ_E6_88_AA_E5_9B_BE20171009164232.png][SGAN(Stacked GAN)][SGAN_Stacked GAN] ##

SGAN是一种结构创新的GAN，通过堆叠多个GAN网络，实现生成模型的信息“分层化”：

[![QQ_E6_88_AA_E5_9B_BE20171010124558.png][]][QQ_E6_88_AA_E5_9B_BE20171010124558.png]

实验表明SGAN可以生成比一般GAN更清晰的图片 ，另外加入一些条件生成的功能也相当方便，github代码：[https://github.com/xunhuang1995/SGAN][https_github.com_xunhuang1995_SGAN]

## 条件生成的GAN ##

许多情况下，我们需要生成指定类的随机样本，这时就需要条件生成的GAN：

## [**CGAN**][CGAN] ##

CGAN是对条件生成GAN的最先尝试，方法也比较简单，直接在网络输入加入条件信息c，用来控制网络的条件输出模式：

[![QQ_E6_88_AA_E5_9B_BE20171009165459.png][]][QQ_E6_88_AA_E5_9B_BE20171009165459.png]公式也相对简单：

[![QQ_E6_88_AA_E5_9B_BE20171009165639.png][]][QQ_E6_88_AA_E5_9B_BE20171009165639.png]

这样，使得生成指定label的样本成为可能：

[![QQ_E6_88_AA_E5_9B_BE20171009165734.png][]][QQ_E6_88_AA_E5_9B_BE20171009165734.png]

来自：https://arxiv.org/pdf/1411.1784.pdf

## [ACGAN（辅助类别的GAN）][ACGAN_GAN] ##

ACGAN在Imagenet上的生成效果令人惊叹，它特意学习了一个类别下的图片结构：

[![QQ_E6_88_AA_E5_9B_BE20171009170727.png][]][QQ_E6_88_AA_E5_9B_BE20171009170727.png]

来自：https://arxiv.org/pdf/1610.09585.pdf

与CGAN不同的是它在判别器D的真实数据x也加入了类别c的信息，这样就进一步告诉G网络该类的样本结构如何，从而生成更好的类别模拟：

[![QQ_E6_88_AA_E5_9B_BE20171009170832.png][]][QQ_E6_88_AA_E5_9B_BE20171009170832.png]

[![QQ_E6_88_AA_E5_9B_BE20171009171042.png][]][QQ_E6_88_AA_E5_9B_BE20171009171042.png]

## [**infoGAN**][infoGAN] ##

对于生成同类别的样本，infoGAN另辟蹊径，通过最大化互信息（c，c’）来生成同类别的样本，其中c是隐信息:

[![QQ_E6_88_AA_E5_9B_BE20171009174341.png][]][QQ_E6_88_AA_E5_9B_BE20171009174341.png][![QQ_E6_88_AA_E5_9B_BE20171009174359.png][]][QQ_E6_88_AA_E5_9B_BE20171009174359.png]

因为隐信息c可以作为超参数控制生成图像，我们可以得到一些有趣的结果：

[![QQ_E6_88_AA_E5_9B_BE20171009174703.png][]][QQ_E6_88_AA_E5_9B_BE20171009174703.png]

来自： https://arxiv.org/pdf/1606.03657.pdf

如上图，通过控制隐信息c从-2到2，我们可以控制生成图片的旋转方向或者字体宽度（从左到右的每列）。

参考文献：

1.  [https://github.com/hwalsuklee/tensorflow-generative-model-collections][https_github.com_hwalsuklee_tensorflow-generative-model-collections]
2.  [https://github.com/xunhuang1995/SGAN][https_github.com_xunhuang1995_SGAN]

[http_nooverfit.com_wp_E7_8B_AC_E5_AE_B6_EF_BD_9Cgan_E5_A4_A7_E7_9B_98_E7_82_B9_EF_BC_8C_E8_81_8A_E8_81_8A_E8_BF_99_E4_BA_9B_E5_B9_B4_E7_9A_84_E7_94_9F_E6_88_90_E5_AF_B9_E6_8A_97_E7_BD_91_E7_BB_9C-lsgan-wgan-cgan-info]: http://nooverfit.com/wp/%E7%8B%AC%E5%AE%B6%EF%BD%9Cgan%E5%A4%A7%E7%9B%98%E7%82%B9%EF%BC%8C%E8%81%8A%E8%81%8A%E8%BF%99%E4%BA%9B%E5%B9%B4%E7%9A%84%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C-lsgan-wgan-cgan-info/
[VAE]: http://kvfrans.com/variational-autoencoders-explained/
[GAN]: http://nooverfit.com/wp/9-%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C101-%E7%BB%88%E6%9E%81%E5%85%A5%E9%97%A8-%E9%80%9A%E4%BF%97%E8%A7%A3%E6%9E%90/
[KL-divergence]: https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
[Screenshot-from-2017-10-08-103621.png]: /images/20211229/f0ed688073e74ae185963911cdea8f79.png
[Screenshot-from-2017-10-08-114940.png]: /images/20211229/eadc44a8c42b442a965d93ecc377ae4b.png
[Screenshot-from-2017-10-08-115443.png]: /images/20211229/16e0e654f96f497291aa371318bf4eb0.png
[Screenshot-from-2017-10-08-115823.png]: /images/20211229/718f7470c2cb4a6ead1f00ffd20cfa34.png
[Screenshot-from-2017-10-08-120305.png]: /images/20211229/ae997d24d61b49f0b67872e648ab76f7.png
[LSGAN_GAN]: https://arxiv.org/abs/1611.04076
[loss]: http://rdipietro.github.io/friendly-intro-to-cross-entropy-loss/
[Screenshot-from-2017-10-08-141246.png]: /images/20211229/b6512dd829e04574aa9788ba6ed96230.png
[Screenshot-from-2017-10-08-141822.png]: /images/20211229/185567c96c874a0aa9fd8c53b405f1d1.png
[WGAN]: https://arxiv.org/pdf/1701.07875.pdf
[DCGAN]: https://arxiv.org/abs/1511.06434
[Screenshot-from-2017-10-08-144045.png]: /images/20211229/836d1d0b8747494d84714550e49fa396.png
[WGAN-GP]: https://arxiv.org/pdf/1704.00028.pdf
[Screenshot-from-2017-10-08-171635.png]: /images/20211229/f4cc0c5b9f0c4469a93e1883ff19db06.png
[Screenshot-from-2017-10-08-172028.png]: /images/20211229/dc1d05acc18c41d79bbdd88ad04375c6.png
[DRAGAN]: https://arxiv.org/pdf/1705.07215.pdf
[QQ_E6_88_AA_E5_9B_BE20171009150100.png]: /images/20211229/57e352f809ac4df5a94e9773bd412e66.png
[https_github.com_kodalinaveen3_DRAGAN]: https://github.com/kodalinaveen3/DRAGAN
[EBGAN]: https://arxiv.org/pdf/1609.03126v2.pdf
[Link 1]: http://nooverfit.com/wp/%E5%9F%BA%E4%BA%8E%E8%83%BD%E9%87%8F%E6%A8%A1%E5%9E%8B%E7%9A%84%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C-%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C%E8%BF%9B%E9%98%B6/
[Screenshot-from-2016-11-18-203958.png]: /images/20211229/b7895f4b516040e8a66f990227cd69b2.png
[QQ_E6_88_AA_E5_9B_BE20161118173125.png]: /images/20211229/b21ef47d20684e319345c4d3cb2fec70.png
[BGAN_Boundary-Seeking GAN]: https://arxiv.org/abs/1702.08431
[QQ_E6_88_AA_E5_9B_BE20171009164232.png]: /images/20211229/8e5be0c7780648538b8c47143bc16dab.png
[SGAN_Stacked GAN]: https://arxiv.org/pdf/1612.04357.pdf
[QQ_E6_88_AA_E5_9B_BE20171010124558.png]: /images/20211229/b494d2c9a85940c6b5e2837c27235503.png
[https_github.com_xunhuang1995_SGAN]: https://github.com/xunhuang1995/SGAN
[CGAN]: https://arxiv.org/pdf/1411.1784.pdf
[QQ_E6_88_AA_E5_9B_BE20171009165459.png]: /images/20211229/d242bba00d5c48dd8f8e468ffb6eaa83.png
[QQ_E6_88_AA_E5_9B_BE20171009165639.png]: /images/20211229/f21419e6bf2640a2bed4e7cd11271b8d.png
[QQ_E6_88_AA_E5_9B_BE20171009165734.png]: /images/20211229/8e39f9b5f1dd4decb8ac66294ce2d09c.png
[ACGAN_GAN]: https://arxiv.org/abs/1610.09585
[QQ_E6_88_AA_E5_9B_BE20171009170727.png]: /images/20211229/94b06e3262c44b23857d76b621caef2c.png
[QQ_E6_88_AA_E5_9B_BE20171009170832.png]: /images/20211229/3242777af8b047e0bb9d461fc244b52f.png
[QQ_E6_88_AA_E5_9B_BE20171009171042.png]: /images/20211229/26a0d47de732413183a6d235027cc2da.png
[infoGAN]: https://arxiv.org/abs/1606.03657
[QQ_E6_88_AA_E5_9B_BE20171009174341.png]: http://nooverfit.com/wp/wp-content/uploads/2017/10/QQ%E6%88%AA%E5%9B%BE20171009174341.png
[QQ_E6_88_AA_E5_9B_BE20171009174359.png]: /images/20211229/c97a0eeee0464967a8e4a4fef791ad33.png
[QQ_E6_88_AA_E5_9B_BE20171009174703.png]: /images/20211229/824205d91fa043abaaefe1cdd2029dd4.png
[https_github.com_hwalsuklee_tensorflow-generative-model-collections]: https://github.com/hwalsuklee/tensorflow-generative-model-collections