推荐系统遇上深度学习(一二二)-[阿里]通过孪生掩码层来高效的学习特征表示向量...

男娘i 2022-09-09 06:11 151阅读 0赞

![b89ed926153cb7a991f8261d1c60b17a.png][]

今天给大家介绍阿里在CIKM2021上发表的一篇关于Embedding的论文，本文的标题是从阿里妈妈技术复制过来的（共有6篇论文入选，可参考https://zhuanlan.zhihu.com/p/401520358）。论文设计了孪生的自适应掩码层（AMTL）来计算每个特征保留的Embedding长度的大小，在提升精度的同时，还能有效节省Embedding的存储空间并很好的支持模型特征向量的热启动，一起来看一下。

# 1、背景 #

大多数的推荐系统模型遵循Embedding + MLP的范式，其中Embedding层的参数往往占模型参数量的90%以上，因此Embedding层对于效果的提升非常重要。

标准的Embedding层将每个离散特征映射为相同长度的向量，这种方法主要存在两方面的问题。一方面，离散特征的不同取值在数据中的出现频次是相差巨大的，对于高频次的特征取值，应当使用长度更长的Embedding向量来表示更丰富的信息，而对于低频次的特征取值，如果Embedding向量过长，则容易导致过拟合。因此，如果对所有特征取值采用相同的长度会降低Embedding学习的有效性。另一方面，相较于灵活的Embedding长度处理方式，定长的方式需要的存储空间也是更大的。

针对标准的定长Embedding处理方式存在的问题，有一些工作开始研究不定长的处理方式。这些方法主要可以分为两类。第一类是基于规则的方法，对于频次高的特征，设置更长的Embedding长度，对于频次低的特征，设置较低的Embedding长度。这类方法的主要问题是较为依赖人工经验。第二类是基于神经架构搜索（Neural architecture search ，简称NAS）的方法，这种方法从候选的Embedding长度中寻找每个特征最适合的Embedding长度，但候选长度往往会被限制在有限的范围内。同时，上述说的两类方法都需要从头开始训练来找到最适合的Embedding长度，对于模型特征向量的热启动（warm starting）并不友好。

针对上述方法的问题，论文设计了孪生的自适应掩码层（AMTL）来计算每个特征保留的embedding长度的大小，在提升精度的同时，还能有效节省embedding的存储空间并很好的支持模型特征向量的热启动，下面一张图概括了现有的处理方式以及本文提出的方法，本文的方法将在第二节进行介绍。

![fda8c11851409493e67d2ca88ca1ebe4.png][]

# 2、方法介绍 #

## 2.1 基本思路 ##

论文提出的基本思路是在定长Eembdding的基础上，针对每一个特征取值对应的Embedding，学习一个掩码向量，掩码向量的定义如下：

![dc1ff8d71732f1767c4e70bb33e7ae5d.png][]

也就是说，在实际应用时，对特征fi的Embedding向量ei，其0到ki的索引下对应的取值保留，大于ki的索引下对应的值置0。这种方式有以下几点优势：

1）存储时，对特征fi的Embedding向量ei，只需要存储ki+1长度的向量即可，线上应用时用0补齐为相同的长度，可减少存储空间  
2）由于Embedding的初始化是定长长度的向量，掩码向量通过其他部分的网络单独学习，可以通过warm starting的方式对Embedding进行初始化。

那么接下来的问题是，如何学习掩码向量？论文设计了孪生的自适应掩码层（Adaptively-Masked Twins-based Layer，以下简称AMTL），咱们在下一小节进行介绍。

## 2.2 AMTL介绍 ##

AMTL的架构如下图所示：

![7dc4b55030f446c872f3e18077155b50.png][]

对AMTL来说，学习方向主要是基于特征的出现频次，因此输入特征主要是频次相关特征，输出为one-hot向量，其中1位置所在的索引，其实就是上一小节中所提到的ki。那么基于ki，就可以生成对应的掩码向量mi。

从上到下来介绍一下AMTL的计算过程。对于频率向量，分别输入到两个孪生的自适应掩码层，分别计作h-AML和l-AML，输出和Embdding相同长度的向量。这种设计思路的主要原因是考虑到如果只是用单一的AML，参数的学习会受频率高的特征的主导，因此设计h-AML和l-AML，分别用于高频特征和低频特征的掩码向量的学习。可以看到，两个AML的输出，会进行加权，而权重基于特征的出现频次，如果出现频次高，权重α大于0.5，h-AML的输出占据主导，如果出现频次低，权重α<0.5，则l-AML的输出占主导。

![7c0eceb60e06a2b28c3a1ce6265be83a.png][]

两个AML的输出结果加权后，首先通过softmax，再通过argmax和one-hot操作，得到ont-hot向量计作ti，最后乘上事先定义好的矩阵M（对矩阵的元素Mi,j来说，如果j<=i，则Mi,j=1，否则等于0），得到掩码向量mi。

![d0398bb3fd448c9a46455b17af6c304e.png][]

![b0867d10e73a107e323002adc116ad2b.png][]

![4e04d7a45d0553a449504fd138828619.png][]

上述过程中存在的主要问题是argmax是无法进行梯度传导的，因此使用Temperated Softmax，如果将温度系数设置很小的话，可以达到近似argmax的效果：

![117c8b51cf039c577e7e27adf9157518.png][]

进一步，借鉴直通估计器的思路（ Straight Through Estimator，简称STE），巧妙的能在前向计算的时候使用argmax得到的one-hot向量，以及在梯度计算的时候对Temperated Softmax得到的向量进行更新，减小二者的gap，具体计算公式如下：

![a77105bba87812a29675cb1a0f7462d3.png][]

好了，AMTL的整体结构介绍到这里，接下来看下实验结果。

# 3、实验结果 #

论文对比了AMTL和一些现有方法的比较，从AUC和存储消耗两份面进行比较，可以看到，AMTL无论是在模型精度还是存储空间上，都取得了不错的提升：

![d2e990bd877cd48c8811ae0fdc0a3495.png][]

好了，本文就介绍到这里，论文设计了孪生的自适应掩码层（AMTL）来计算每个特征保留的embedding长度的大小，在提升精度的同时，还能有效节省embedding的存储空间并很好的支持模型特征向量的热启动，感兴趣的同学可以阅读原文～

[推荐系统遇上深度学习(一二一)-基于用户行为检索的点击率预估模型][-]

[2021-08-22][-]

[![232d68bfba8bada68fc858dc7d6233a7.png][] ][-]

[推荐系统遇上深度学习(一二零)-\[微博\]使用上下文信息来优化特征嵌入的CTR预估框架][-_CTR]

[2021-08-01][-_CTR]

[![4e20e728b43bdcf52075b1c025a61962.png][] ][-_CTR]

[b89ed926153cb7a991f8261d1c60b17a.png]: /images/20220829/95ae394b473f481ab2061d580112041f.png
[fda8c11851409493e67d2ca88ca1ebe4.png]: /images/20220829/70725ff603eb42df8862ef1be72d2c72.png
[dc1ff8d71732f1767c4e70bb33e7ae5d.png]: /images/20220829/82727dc847d1490ba86d46fd1052603f.png
[7dc4b55030f446c872f3e18077155b50.png]: /images/20220829/864656cae8884e76af0fd0e7eeaf21b7.png
[7c0eceb60e06a2b28c3a1ce6265be83a.png]: /images/20220829/7d301b1f72b642a690f122b40bb06312.png
[d0398bb3fd448c9a46455b17af6c304e.png]: /images/20220829/579a47b56f064ed9a25bf01407e43a4f.png
[b0867d10e73a107e323002adc116ad2b.png]: /images/20220829/1b7c585bbdb641be9e47dfa6ab4cc493.png
[4e04d7a45d0553a449504fd138828619.png]: /images/20220829/2768ee9d894c41dcb7024c2990798bf6.png
[117c8b51cf039c577e7e27adf9157518.png]: /images/20220829/17e190f04cb44ab295c8af559f541504.png
[a77105bba87812a29675cb1a0f7462d3.png]: /images/20220829/051742c2b830473fa56756dd6d140bd7.png
[d2e990bd877cd48c8811ae0fdc0a3495.png]: /images/20220829/116f6de0b0da4713b00906eef318cd48.png
[-]: http://mp.weixin.qq.com/s?__biz=MzI1MzY0MzE4Mg%3D%3D&chksm=e9d00abbdea783ad10845b7fcba14671c58db6852eacbf4e2bd5fbd7ee46e944b21b5fce7d66&idx=1&mid=2247490170&scene=21&sn=618fba2331d08f5632a27acc53fa1000#wechat_redirect
[232d68bfba8bada68fc858dc7d6233a7.png]: /images/20220829/c1d64e52eec9420681a17eb019f7587e.png
[-_CTR]: http://mp.weixin.qq.com/s?__biz=MzI1MzY0MzE4Mg%3D%3D&chksm=e9d00ae9dea783ff3bcf1fab0201d95076b296ab54337e545335cb1c7f8a0df079405f704f3a&idx=1&mid=2247490088&scene=21&sn=e5babdde6bcce9826f79c094f59b79b2#wechat_redirect
[4e20e728b43bdcf52075b1c025a61962.png]: /images/20220829/f3297246d7314757b7ab9496b9bb8696.png