Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation笔记

小鱼儿 2022-01-29 03:45 197阅读 0赞

来源：ACL2018

链接：[\[1804.08069\] Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation 4][1804.08069_ Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation 4]

源码：[snakeztc/NeuralDialog-LAED 1][snakeztc_NeuralDialog-LAED 1]

转自：[https://bigquant.com/community/t/topic/121085][https_bigquant.com_community_t_topic_121085]

原文连接：[https://zhuanlan.zhihu.com/p/37630801][https_zhuanlan.zhihu.com_p_37630801]

*题目太长，翻成中文。*

**Introduction**

基于编码器-解码器的对话模型已经很普遍了，结合神经网络基本上是端到端的思路。但是中间的控制过程，模型无法给出**可解释**的生成动作，这里的动作指离散的变量，如对话主题，意图等。虽然在任务型对话系统中，对话管理器也会有可解释的对话动作和slot-value对，但是推广性差，容易局限在垂直领域，且依赖人工标注。从生成式对话模型的**可解释表示学习**出发，作者提出了两种无监督的VAE模型：**DI-VAE**和**DI-VST**，可以和现有的encoder-decoder框架结合，去做可解释的对话生成。

涉及三个变量：

![\{\\rm c\}][rm c] : context

![\{\\rm x\}][rm x] : response

![\{\\rm z\}][rm z] : latent action

作者首先定义了 ![\{\\rm z\}][rm z] 具备可解释性的两个性质：

1.  ![\{\\rm z\}][rm z] 必须能明显的表示回复 ![\{\\rm x\}][rm x] 的句子级特征；
2.  ![\{\\rm z\}][rm z] 的含义必须和语境 ![\{\\rm c\}][rm c] 无关；

第一条显然的，关于第二条，作者的解释是：假如 ![\{\\rm z\}][rm z] 中每个类的含义随着语境变化而变化，就很难从所有的回复中获取一致的解释性。

然后，作者定义了四个模块：

![\\mathcal\{R\}][mathcal_R] : 识别网络，从输入的回复映射到 ![\{\\rm z\}][rm z] ， ![q\_\{\\mathcal\{R\}\}(\{\\rm z\}|\{\\rm x\})][q_mathcal_R_rm z_rm x] ;

![\\mathcal\{G\}][mathcal_G] : 生成器，从 ![\{\\rm z\}][rm z] 重建句子 ![\{\\rm x\}][rm x] ，提供训练 ![\{\\rm z\}][rm z] 的损失信号；

![\\mathcal\{F\}][mathcal_F] : 编码器-解码器网络，负责重建回复 ![\{\\rm x\}][rm x] , ![p\_\{\\mathcal\{F\}\}(\{\\rm x\}|\{\\rm z, c\})][p_mathcal_F_rm x_rm z_ c] ;

![\\pi][pi] : 策略网络，从语境生成动作 ![\{\\rm z\}][rm z] , ![p\_\{\\pi\}(\{\\rm z\}|\{\\rm c\})][p_pi_rm z_rm c] ;

前两个模块负责可解释 ![\{\\rm z\}][rm z] 的学习（如图1），后两个模块将 ![\{\\rm z\}][rm z] 嵌入到编-解码器中，生成对话的回复。

![9869e33b1e482516899ec18f6270fb79e544d599.jpg][]

!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘[’>)][Link 1]

[图1 识别网络-隐动作表示-生成网络 框架

**Model**

**从自动编码中学习句子表示: DI-VAE**

涉及识别网络 ![\\mathcal\{R\}][mathcal_R] 和生成器 ![\\mathcal\{G\}][mathcal_G] 。定义了 ![\{\\rm z\}][rm z] 有M个，![\{\\rm z\} = \{\{\\rm z\}\_1 ...\{\\rm z\}\_m...\{\\rm z\}\_M\}][rm z_ _ _rm z_1 ..._rm z_m..._rm z_M] ；每个 ![\{\\rm z\}\_m][rm z_m] 是一个K类别的离散变量。

如图1，回复 ![\{\\rm x\}][rm x] 经过编码获得句子表示 ![h^R\_\{|x|\}][h_R_x] ,再通过投影，Softmax映射为离散变量 ![\{\\rm z\_m\}][rm z_m 1] 的后验分布 : ![q\_\{\{\\mathcal\{R\}\}\}(\{\\rm z\}m|\{\\rm x\}) = \{\\rm Softmax\}(W\_qh^\{\\mathcal\{R\}\}\{|\{\\rm x\}|\}+b\_q)][q_mathcal_R_rm z_m_rm x_ _ _rm Softmax_W_qh_mathcal_R_rm x_b_q]

然后用Gumbel-Softmax从分布中采样 ![\{\\rm z\}\_m][rm z_m] 的概率。

为了获得解码器RNN的初始状态，作者定义了从离散的隐变量 ![\{\\rm z\}\_m][rm z_m] 到 ![e\_m][e_m] 的映射。比如 ![\{\\rm z\}\_m][rm z_m] 表示情感，有高兴，悲伤等K个种类，那么 ![e\_m][e_m] 就相当于各个情感向量构成的矩阵 ![e\_m \\in \\mathbb\{R\}^\{K \\times D\}][e_m _in _mathbb_R_K _times D] 。用前面采样到的 ![\{\\rm z\}\_m][rm z_m] 的各个类别概率，对矩阵 ![e\_m][e_m] 加权求和，就会获得关于情感向量的表示 ![e\_m(\{\\rm z\}\_m)][e_m_rm z_m] 。然后，将所有的动作向量求和，就得到解码器的初始状态：

![h^\{\\mathcal\{G\}\}0 = \\sum^M\{m=1\} e\_m(\{\\rm z\}\_m)][h_mathcal_G_0 _ _sum_M_m_1_ e_m_rm z_m]

然后解码器重建回复，最大化置信下界目标函数\*\*(ELBO)，\*\*到这里仍然是按照VAE的训练思路。

但是在ELBO的训练中， 经常存在“后验崩塌”的问题，也就是KL损失被忽略，训练降为0。对VAE的目标函数推对所有的数据 ![\{\\rm x\}][rm x] 取期望：

![v2-e0380d33f7abb7d3f853859f77612a00_b.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[然后，对 KL 损失项关于所有数据 ![\{\\rm x\}][rm x] 取期望，推导（具体参见论文），会得到

![5c5b3872e90e419b8cc601187f85c2ba8d7950e6.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[(2) 带入(1), 得到

![v2-bbcf052547d858a3b837a4be43b536ab_b.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[![q(\{\\rm z\})=\\mathbb\{E\}\{\\rm x\}\[q\{\\mathcal\{R\}\}(\{\\rm z\}|\{\\rm x\})\]][q_rm z_mathbb_E_rm x_q_mathcal_R_rm z_rm x] 是识别网络后验分布的期望，而 ![I(Z, X)][I_Z_ X] 是关于 ![Z][] 和 ![X][] 的互信息。这就说明了一个问题：在最大化（3）的ELBO时，会导致互信息 ![I(Z,X)][I_Z_X] 减小，也就是迫使 ![Z][] 包含 ![X][] 的信息越来越少，这就说明为什么VAE的训练中，隐变量容易忽略，特别是解码器特别强大的时候，重建损失会占据主导。

那么很自然的，为了让隐变量 ![Z][] 编码入更多和 ![X][] 相关的信息，只要将互信息项移到目标函数的左边：

![5934524eb9e3daa51ce6ac38f2eb7662ec00b708.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[VAE with Information Maximization

这样联合优化ELBO和互信息项就可以避免隐变量的信息丢失，同时仍然保持利用后验分布逼近复杂的先验分布的优化思想。

（4）的具体实现上，就简单多了:

![ae6df8a01400d6af4bb365a15414450264247bd0.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[![60b6c1a57b8d37875e3545dd766fce89542f8bab.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[作者把（6）式称为Batch Prior Regularization **(BPR)**. 在训练的时候，（5）式是利用一个batch ![N][] 去近似计算 ![q'(\{\\rm z\})][q_rm z] 。

到这里，（4）式就是 discrete infoVAE with BPR, **DI-VAE**.

**从语境中学习句子表示: DI-VST**

DI-VAE是通过对句子的重建来学习隐变量的，论文中还借鉴了Skip thought(**ST**) 模型，拓展了另一种模型：通过一个句子的表示，去预测前一个句子和后一个句子。因为在对话中，一个回复是和上下文高度相关的，所以这个思想具有一定可行性的。因此，将**DI-VAE**的重建句子项替换为预测前一句 ![p^p\_\{\\mathcal\{G\}\}][p_p_mathcal_G] 和后一句 ![p^n\_\{\\mathcal\{G\}\}][p_n_mathcal_G] ，就得到：

![7a0f9919dc89075d031832c9b28046bc5d0e9014.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[**和编-解码器的结合：LAED**

![v2-e5ebdd5e366e9d0cb9ad1fb9cd3b550f_b.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[图2：DI-VAE和LAED的结合框架图（按个人理解所画）

前面两个模型都在学习可解释的离散隐变量 ![\{\\rm z\}][rm z] , 接下来是将 ![\{\\rm z\}][rm z] 和我们最熟悉的encoder-decoder框架以及策略网络结合。编码器从dialog context ![\{\\rm c\}][rm c] 获得分布式表示 ![h^e = \\mathcal\{F\}^e(\{\\rm c\})][h_e _ _mathcal_F_e_rm c] ;解码器通过 ![h^e][h_e] 和识别网络采样的 ![\{\\rm z\}][rm z] 生成回复 ![\\tilde\{x\} = \\mathcal\{F\}^d(h^e,\{\\rm z\})][tilde_x_ _ _mathcal_F_d_h_e_rm z] 。编-解码器和策略网络的联合训练目标则是

![269f9c2f7ad47b335ec0d202e688db0a1dd21fe9.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[训练策略网络的目的是让预测的 ![\{\\rm z\}\_1][rm z_1] 接近识别网络的 ![\{\\rm z\}][rm z] ,然后在测试生成的时候就可以用策略网络的 ![\{\\rm z\}\_1][rm z_1] 去合成回复了。另外，单纯依靠 ![\{\\rm z\}][rm z] 输入到解码器无法保证生成的回复体现 ![\{\\rm z\}][rm z] 的属性，需要引入一个鉴别器，当生成回复没表现 ![\{\\rm z\}][rm z] 时进行惩罚。这也是借鉴去年的一篇可控文本生成论文\[1\]的套路。

![bc5a36866ec541f2b4f4b083d2e237c56d6eac0b.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[注意因为解码器 ![\\mathcal\{F\}^d][mathcal_F_d] 每步输出的是的离散的单词，（9）式没法完成梯度回传，因此同样采用了论文\[1\]中的deterministic continuous relation 做法，具体就是把 ![q\_\{\\mathcal\{R\}\}][q_mathcal_R] 的离散单词输入替换为概率加权后的word embedding: ![h^\{\\rm R\}t = \{\\rm RNN\}(h^\{\\rm R\}\{t-1\}, \{\\rm E\}\{\\rm o\}\_t)][h_rm R_t _ _rm RNN_h_rm R_t-1_ _rm E_rm o_t] , ![\{\\rm E\}][rm E] 是词向量矩阵， ![\{\\rm o\}\_t][rm o_t] 就是解码器在每一步输出的归一化概率。这样，结合属性鉴别损失，得到最终的目标函数：

![ba722978ddd7244aa266c60a77c661c7c14ea3f9.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[**和传统VAE的区别**

其实从（8）式来看，**LAED**的目标函数和CVAE是很像的：

![b1254cc38ecd9a905452ca0de1b889b253c87b4e.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[但不同点在于CVAE希望![\{\\rm z\}][rm z] 和 ![\{\\rm x\}][rm x] 能和context ![\{\\rm c\}][rm c] 有更多的互信息 ![I(\{\\rm x\}, \{\\rm z\}|\{\\rm c\})][I_rm x_ _rm z_rm c] ，也就是CVAE里面的 ![\{\\rm z\}][rm z] 是和依赖于 ![\{\\rm c\}][rm c] 的，而LAED学到的 ![\{\\rm z\}][rm z] 是独立于context ![\{\\rm c\}][rm c] 的，这种独立性保证了 ![\{\\rm z\}][rm z] 的可解释性和推广性。

**Experiments and Results**

论文在四个数据集上进行了实验：Penn Treebank(**PTB**), Stanford Multi-Domain Dialog(**SMD**), Daily Dialog(**DD**)和 Switchboard(**SW**)，后面3个包括了任务型对话和开放领域闲聊对话。

模型对句子的离散表示能力

指标主要是困惑度（Perplexity, **PPL**), KL散度， 互信息I(x, z). **DAE**和**DST**分别是DI-VAE和DI-VST去掉KL(q|p)项，“退化版”的离散自动编码器。对应的，DVAE和DVST分别是离散版本的VAE和VST，基于ELBO训练。

![9b98e1316bc3c2da150a07ae5d0e271b06d97651.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[可以看到，所有的模型都比RNNLM好，DI-VAE能取得最好的性能。在训练的时候会发现：

DAE很快学会重建输入，在缺乏其他约束的情况下容易过拟合。

DVAE如果按照标准的训练方法，学到的互信息I(x,z)为0，只有在加了KL-annealing和词袋损失之后，才能学到很少的互信息；

从DD数据集来看，DI-VST模型能利用BPR正则，学到更有意义的隐变量表示，进一步提升DST的PPL指标。

隐变量的个数和维数对表示能力的影响

再介绍一个比较有意思的实验，通过固定隐变量的表示能力，即隐变量的个数K和维数M，比如 ![K^M \\approx1000][K_M _approx1000] ，比较不同K, M设置下模型的性能：

![v2-f44b92c0d4744aa68555887d723134e2_b.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[可以看到，多个低维隐变量的表征能力强于少量高维隐变量。说明在一定程度上，特征的个数（隐变量个数）比特征的种类数（维度）更重要，能带来更强的表征能力。

隐动作的可解释性

接下来是衡量隐含动作的可解释性，重点介绍一下人工评估实验。先让专家给一些生成的回复指定隐动作的描述字眼；然后worker去评判控制生成的隐动作是否符合专家的描述，算匹配率。

![b441a6eabef90d7ccb810539e1041299a04dc44f.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[最后是一些控制生成的样例：

![96c065b449afedfc332a593a066290732a14c889.jpg][]][Link 1]

[!\[\](data:image/svg+xml;utf8,<svg%20xmlns=‘][Link 1][’>)][Link 1]

[当然，论文还有一些体现对话属性控制的实验，详情可看原文。

**Conclusion**

论文主要探索了一种无监督的学习框架，以离散形式的隐变量去更好地控制对话生成和增强可解释性。对我来说，比较突出的点在于对传统VAE中ELBO目标函数中的KL散度项，分离出互信息项，从而解决了之前VAE在文本生成上常见的”后验崩塌“问题。当然，获得了中间离散的隐变量后，怎么结合在解码器端，用的也都是比较常见的技巧：离散变量映射到embedding，加属性鉴别器，解码器端用输出的概率加权词向量解决无法梯度回传的问题。

不管怎样，创新不易，从论文想解决的目标，设计的模型，以及充分的实验来看，个人觉得很赞！

**参考论文**

\[1\] Zhiting Hu, Zichao Yang, Xiaodan Liang, Ruslan Salakhutdinov, and Eric P Xing. 2017. Toward controlled generation of text. In International Conference on Machine Learning. pages 1587–1596.][Link 1]

[1804.08069_ Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation 4]: https://arxiv.org/abs/1804.08069
[snakeztc_NeuralDialog-LAED 1]: https://github.com/snakeztc/NeuralDialog-LAED
[https_bigquant.com_community_t_topic_121085]: https://bigquant.com/community/t/topic/121085
[https_zhuanlan.zhihu.com_p_37630801]: https://zhuanlan.zhihu.com/p/37630801
[rm c]: https://www.zhihu.com/equation?tex=%7B%5Crm+c%7D
[rm x]: https://www.zhihu.com/equation?tex=%7B%5Crm+x%7D
[rm z]: https://www.zhihu.com/equation?tex=%7B%5Crm+z%7D
[mathcal_R]: https://www.zhihu.com/equation?tex=%5Cmathcal%7BR%7D
[q_mathcal_R_rm z_rm x]: https://www.zhihu.com/equation?tex=q_%7B%5Cmathcal%7BR%7D%7D%28%7B%5Crm+z%7D%7C%7B%5Crm+x%7D%29
[mathcal_G]: https://www.zhihu.com/equation?tex=%5Cmathcal%7BG%7D
[mathcal_F]: https://www.zhihu.com/equation?tex=%5Cmathcal%7BF%7D
[p_mathcal_F_rm x_rm z_ c]: https://www.zhihu.com/equation?tex=p_%7B%5Cmathcal%7BF%7D%7D%28%7B%5Crm+x%7D%7C%7B%5Crm+z%2C+c%7D%29
[pi]: https://www.zhihu.com/equation?tex=%5Cpi
[p_pi_rm z_rm c]: https://www.zhihu.com/equation?tex=p_%7B%5Cpi%7D%28%7B%5Crm+z%7D%7C%7B%5Crm+c%7D%29
[9869e33b1e482516899ec18f6270fb79e544d599.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/9/8/9869e33b1e482516899ec18f6270fb79e544d599.jpg
[Link 1]: http://www.w3.org/2000/svg'%20rel=
[rm z_ _ _rm z_1 ..._rm z_m..._rm z_M]: https://www.zhihu.com/equation?tex=%7B%5Crm+z%7D+%3D+%5C%7B%7B%5Crm+z%7D_1+...%7B%5Crm+z%7D_m...%7B%5Crm+z%7D_M%5C%7D
[rm z_m]: https://www.zhihu.com/equation?tex=%7B%5Crm+z%7D_m
[h_R_x]: https://www.zhihu.com/equation?tex=h%5ER_%7B%7Cx%7C%7D
[rm z_m 1]: https://www.zhihu.com/equation?tex=%7B%5Crm+z_m%7D
[q_mathcal_R_rm z_m_rm x_ _ _rm Softmax_W_qh_mathcal_R_rm x_b_q]: https://www.zhihu.com/equation?tex=q_%7B%7B%5Cmathcal%7BR%7D%7D%7D%28%7B%5Crm+z%7D_m%7C%7B%5Crm+x%7D%29+%3D+%7B%5Crm+Softmax%7D%28W_qh%5E%7B%5Cmathcal%7BR%7D%7D_%7B%7C%7B%5Crm+x%7D%7C%7D%2Bb_q%29
[e_m]: https://www.zhihu.com/equation?tex=e_m
[e_m _in _mathbb_R_K _times D]: https://www.zhihu.com/equation?tex=e_m+%5Cin+%5Cmathbb%7BR%7D%5E%7BK+%5Ctimes+D%7D
[e_m_rm z_m]: https://www.zhihu.com/equation?tex=e_m%28%7B%5Crm+z%7D_m%29
[h_mathcal_G_0 _ _sum_M_m_1_ e_m_rm z_m]: https://www.zhihu.com/equation?tex=h%5E%7B%5Cmathcal%7BG%7D%7D_0+%3D+%5Csum%5EM_%7Bm%3D1%7D+e_m%28%7B%5Crm+z%7D_m%29
[v2-e0380d33f7abb7d3f853859f77612a00_b.jpg]: /images/20220129/420a392b83264cd68b8470d3ae8e1a12.png
[5c5b3872e90e419b8cc601187f85c2ba8d7950e6.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/5/c/5c5b3872e90e419b8cc601187f85c2ba8d7950e6.jpg
[v2-bbcf052547d858a3b837a4be43b536ab_b.jpg]: /images/20220129/74c8d7e20e7e43cc98c962059cecc641.png
[q_rm z_mathbb_E_rm x_q_mathcal_R_rm z_rm x]: https://www.zhihu.com/equation?tex=q%28%7B%5Crm+z%7D%29%3D%5Cmathbb%7BE%7D_%7B%5Crm+x%7D%5Bq_%7B%5Cmathcal%7BR%7D%7D%28%7B%5Crm+z%7D%7C%7B%5Crm+x%7D%29%5D
[I_Z_ X]: https://www.zhihu.com/equation?tex=I%28Z%2C+X%29
[Z]: https://www.zhihu.com/equation?tex=Z
[X]: /images/20220129/37eaefebb33e437984cf4fc197ae990f.png
[I_Z_X]: https://www.zhihu.com/equation?tex=I%28Z%2CX%29
[5934524eb9e3daa51ce6ac38f2eb7662ec00b708.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/5/9/5934524eb9e3daa51ce6ac38f2eb7662ec00b708.jpg
[ae6df8a01400d6af4bb365a15414450264247bd0.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/a/e/ae6df8a01400d6af4bb365a15414450264247bd0.jpg
[60b6c1a57b8d37875e3545dd766fce89542f8bab.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/6/0/60b6c1a57b8d37875e3545dd766fce89542f8bab.jpg
[N]: https://www.zhihu.com/equation?tex=N
[q_rm z]: https://www.zhihu.com/equation?tex=q%27%28%7B%5Crm+z%7D%29
[p_p_mathcal_G]: https://www.zhihu.com/equation?tex=p%5Ep_%7B%5Cmathcal%7BG%7D%7D
[p_n_mathcal_G]: /images/20220129/b1001e81150e4ae9be29677e3cf25ba2.png
[7a0f9919dc89075d031832c9b28046bc5d0e9014.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/7/a/7a0f9919dc89075d031832c9b28046bc5d0e9014.jpg
[v2-e5ebdd5e366e9d0cb9ad1fb9cd3b550f_b.jpg]: /images/20220129/1c0f8a915e7c40f999b4f03b7260eb4a.png
[h_e _ _mathcal_F_e_rm c]: https://www.zhihu.com/equation?tex=h%5Ee+%3D+%5Cmathcal%7BF%7D%5Ee%28%7B%5Crm+c%7D%29
[h_e]: https://www.zhihu.com/equation?tex=h%5Ee
[tilde_x_ _ _mathcal_F_d_h_e_rm z]: https://www.zhihu.com/equation?tex=%5Ctilde%7Bx%7D+%3D+%5Cmathcal%7BF%7D%5Ed%28h%5Ee%2C%7B%5Crm+z%7D%29
[269f9c2f7ad47b335ec0d202e688db0a1dd21fe9.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/2/6/269f9c2f7ad47b335ec0d202e688db0a1dd21fe9.jpg
[rm z_1]: https://www.zhihu.com/equation?tex=%7B%5Crm+z%7D_1
[bc5a36866ec541f2b4f4b083d2e237c56d6eac0b.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/b/c/bc5a36866ec541f2b4f4b083d2e237c56d6eac0b.jpg
[mathcal_F_d]: https://www.zhihu.com/equation?tex=%5Cmathcal%7BF%7D%5Ed
[q_mathcal_R]: https://www.zhihu.com/equation?tex=q_%7B%5Cmathcal%7BR%7D%7D
[h_rm R_t _ _rm RNN_h_rm R_t-1_ _rm E_rm o_t]: https://www.zhihu.com/equation?tex=h%5E%7B%5Crm+R%7D_t+%3D+%7B%5Crm+RNN%7D%28h%5E%7B%5Crm+R%7D_%7Bt-1%7D%2C+%7B%5Crm+E%7D%7B%5Crm+o%7D_t%29
[rm E]: https://www.zhihu.com/equation?tex=%7B%5Crm+E%7D
[rm o_t]: https://www.zhihu.com/equation?tex=%7B%5Crm+o%7D_t
[ba722978ddd7244aa266c60a77c661c7c14ea3f9.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/b/a/ba722978ddd7244aa266c60a77c661c7c14ea3f9.jpg
[b1254cc38ecd9a905452ca0de1b889b253c87b4e.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/b/1/b1254cc38ecd9a905452ca0de1b889b253c87b4e.jpg
[I_rm x_ _rm z_rm c]: https://www.zhihu.com/equation?tex=I%28%7B%5Crm+x%7D%2C+%7B%5Crm+z%7D%7C%7B%5Crm+c%7D%29
[9b98e1316bc3c2da150a07ae5d0e271b06d97651.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/9/b/9b98e1316bc3c2da150a07ae5d0e271b06d97651.jpg
[K_M _approx1000]: https://www.zhihu.com/equation?tex=K%5EM+%5Capprox1000
[v2-f44b92c0d4744aa68555887d723134e2_b.jpg]: /images/20220129/d63c2a4db8bc44149a3747d275a4b2ce.png
[b441a6eabef90d7ccb810539e1041299a04dc44f.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/b/4/b441a6eabef90d7ccb810539e1041299a04dc44f.jpg
[96c065b449afedfc332a593a066290732a14c889.jpg]: https://community.bigquant.com/community/uploads/default/original/3X/9/6/96c065b449afedfc332a593a066290732a14c889.jpg