Improved Variational Autoencoders for Text Modeling using Dilated Convolutions论文笔记

港控/mmm° 2022-04-13 05:36 229阅读 0赞

**Introduction**

我们的贡献如下: 首先, 我们建议使用一个扩大的 cnn 作为一个新的解码器的 vae。然后, 我们对具有不同容量的多个扩展体系结构进行了经验评估, 发现上下文容量的降低会导致对潜在表示的更强大依赖。通过选择具有适当上下文容量的解码器, 我们发现我们的 vae 在两个数据集中的性能优于 lstm 语言模型。我们还探讨了使用扩张的 cnn vae 进行半监督分类的方法, 并发现它们的表现好于来自 (dai & le, 2015年) 的强基线。最后, 我们验证了相同的框架可以有效地用于无监督的聚类

**2 Model**

在本节中, 我们首先提供有关使用变分自动编码器进行语言建模的背景。然后介绍了扩展的 cnn 架构, 我们将作为一个新的解码器的 vae 在实验中。最后, 我们描述了 vae 的推广, 我们将用于进行半监督分类实验。

**2.1. Background on Variational Autoencoders**

**2.2. Training Collapse with Textual VAEs**

这种生成模型和变分推理过程的结合通常被称为变分自动编码器 (vae)。我们还可以将 vae 视为自动编码器的正则化版本。但是, 请注意, 虽然 vae 是有效的概率模型, 其可能性可以根据隐藏的数据进行评估, 但自动编码器不是有效的模型。如果只使用 vae 变分约束 eq (z x) \[log p (x z)\] 的第一个术语作为目标, 则后验 q (z x) 的方差就会变小, 训练过程就会退化到自动编码器。它是 kl 发散项, kl (q (z x)p (z), 它不鼓励 vae 将每个 x 作为一个潜在点记住。

虽然 kl 术语对于培训 vae 至关重要, 但从历史上看, 正如 bowman 等人 (2015年) 所观察到的那样, kl 术语在训练过程中变得越来越小, 这证明了文本上的不稳定。当训练过程以这种方式崩溃时, 结果是一个编码器复制了高斯之前 (而不是一个更有趣的后部), 一个完全忽略潜在变量 z 的解码器, 以及一个简化为更简单的学习模型语言模型。我们假设这种崩溃条件与解码器结构的上下文容量有关。选择编码器和解码器取决于数据类型。对于图像, 这些图像通常是 mlp 或 cnn, lstm 被用于文本, 但如上文所述, 导致培训崩溃 (bowman 等人, 2015年)。在这里, 我们建议使用一个扩大的CNN代替解码器。在一个极端, 当CNN的有效上下文宽度非常大, 它类似于 lstm 的结果。当宽度很小的时候, 它的行为就像一个词袋模型。扩展后的 cnn 的体系结构灵活性使我们能够改变上下文容量并进行实验来验证我们的假设: 解码器上下文容量和编码信息的有效使用是直接相关的。接下来, 我们将描述解码器的详细信息。

**2.3. Dilated Convolutional Decoders**

使用用于文本生成的 cnn 的典型方法 (kalchbrenner 等人, 2016a) 与图像使用的方法相似 (krizhevsky 等人, 2012年;他等人, 2016年), 但卷积适用于一个层面。在定义我们的解码器时, 我们把这个问题带到这里。

**One dimensional convolution**

对于CNN来说, 作为文本的解码器, xt 的生成必须只满足于过去的令牌 x < t. 应用传统的卷积将打破这一假设, 并使用令牌 x≥t 作为预测 xt 的输入。在我们的解码器中, 我们只需将输入移动几个插槽 (范登奥德等。对于具有 k 的卷积和使用 n 层, 我们的有效滤波器大小 (预测 xt 时要条件的过去令牌数) 将是 (k-1) xt + 1。因此, 滤波器的大小将随着网络的深度线性增长。

**Dilation**

引入了扩张卷积 (yu & k立 tun, 2015), 在不增加计算成本的情况下, 大大提高了有效的接受场大小。使用扩展 d, 应用卷积, 以便每个步骤跳过 d-1 输入。原因卷积可以看到 d = 1 的特殊情况。随着系统的扩张, 有效接受量随网络深度呈指数级增长。在图1b 中, 我们分别显示了第一层和第二层1和2的大小扩张。假设 i-th 层中的扩张大小是 di, 我们在所有层中使用相同的过滤器大小 k, 则有效的过滤器大小是 (k-1)P i di + 1 的扩张通常设置为每层增加一倍 di+1 = 2di, 所以有效的接收场大小可以呈指数级增长。因此, 通过操作过滤器的大小、扩展大小和网络深度, 可以在更大的范围内控制 cnn 的上下文容量。我们在实验中使用这种方法

**Residual connection**

就是使用了残差连接

**Overall architecture:**

我们的 vae 架构如图1a 所示。我们使用 lstm 作为编码器, 得到后验概率 q (z x), 我们假设它是对角高斯。我们用 lstm 输出对均值μ和方差进行了参数化。我们从 q (z x) 中采样 z, 解码器通过将 z 与解码器输入的每个字嵌入连接在一起来限定。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70][]

**2.4. Semi-supervised VAE**

除了进行语言建模实验外, 我们还将使用我们提出的解码器对文本进行半监督分类的实验。在本节中, 我们简要回顾了包含离散标签作为附加变量的半监督 vae (kingma 等人, 2014年)。给出标记集 (x, y) ~ dl 和未标记集合 x ~ du, (kingma 等人, 2014年) 提出了一个模型, 其潜在表示包含连续向量 z 和离散标记 y:

**Gumbel-softmax:**

jang 等人 (2016年);maddison et al.(2016) 提出了从一个分类分布进行采样的连续近似值。

**Unsupervised clustering:**

在本节中, 我们将相同的框架适用于无监督的群集。我们直接最小化目标 u (x), 它由两部分组成: 重建损失和 kl 正则化 q (y x)。第一部分鼓励模型将 x 分配给标记 y, 使重建损失较低。我们发现, 该模型很容易陷入两个局部最优: kl 项非常小, q (y x) 接近均匀分布或 kl 项非常大, 所有样本崩溃到一个类。为了使模型更可靠, 我们通过以下方式修改 kl 术语:

也就是说, 我们只在 kl 术语足够大的情况下将其最小化。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xydDM2Ng_size_16_color_FFFFFF_t_70]: /images/20220413/7ee34422c0404632aff5cae76e2fbd74.png