基于隐语义模型的个性化推荐算法综述-笔记整理

た入场券 2023-06-13 08:47 24阅读 0赞

**1. 前期知识 均方根值（RMS）+ 均方根误差（RMSE）+标准差（Standard Deviation）**

# 1、均方根值（RMS）也称作为效值，它的计算方法是先平方、再平均、然后开方。 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70][]

2、均方根误差，它是观测值与真值偏差的平方和观测次数n比值的平方根，在实际测量中，观测次数n总是有限的，真值只能用最可信赖（最佳）值来代替.方根误差对一组测量中的特大或特小误差反映非常敏感，所以，均方根误差能够很好地反映出测量的精密度。均方根误差，当对某一列进行甚多次的测量时，取这一测量列真误差的均方根差(真误差平方的算术平均值再开方)，称为标准偏差，以σ表示。σ反映了测量数据偏离真实值的程度，σ越小，表示测量精度越高，因此可用σ作为评定这一测量过程精度的标准。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70 1][]

3、标准差（Standard Deviation），标准差是方差的算术平方根，也称均方差（mean square error），是各数据偏离平均数的距离的平均数，它是离均差平方和平均后的方根，用σ表示，标准差能反映一个数据集的离散程度。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70 2][]

**2.隐语义模型 之通俗理解**

# 一、隐语义模型的基本思想 #

隐语义模型是近年来推荐系统领域较为热门的话题，它主要是根据隐含特征将用户与物品联系起来。

现从简单例子出发介绍隐语义模型的基本思想。假设用户A喜欢《数据挖掘导论》，用户B喜欢《三个火枪手》，现在小编要对用户A和用户B推荐其他书籍。基于 UserCF(基于用户的协同过滤)，找到与他们偏好相似的用户，将相似用户偏好的书籍推荐给他们；基于ItemCF(基于物品的协同过滤)，找到与他们 当前偏好书籍相似的其他书籍，推荐给他们。其实还有一种思路，就是根据用户的当前偏好信息，得到用户的兴趣偏好，将该类兴趣对应的物品推荐给当前用户。比 如，用户A喜欢的《数据挖掘导论》属于计算机类的书籍，那我们可以将其他的计算机类书籍推荐给用户A；用户B喜欢的是文学类数据，可将《巴黎圣母院》等这 类文字作品推荐给用户B。这就是隐语义模型，依据“兴趣”这一隐含特征将用户与物品进行连接，需要说明的是此处的“兴趣”其实是对物品类型的一个分类而 已。

# 二、隐语义模型的数学理解 #

我们从数学角度来理解隐语义模型。如下图所示，R矩阵是用户对物品的偏好信息（Rij表示的是user i对item j的兴趣度），P矩阵是用户对各物品类别的一个偏好信息（Pij表示的是user i对class j的兴趣度），Q矩阵是各物品所归属的的物品类别的信息（Qij表示的是item j在class i中的权重）。隐语义模型就是要将矩阵R分解为矩阵P和矩阵Q的乘积，即通过矩阵中的物品类别(class)将用户user和物品item联系起来。实际 上我们需要根据用户当前的物品偏好信息R进行计算，从而得到对应的矩阵P和矩阵Q。

![20191114215306858.png][]

# 三、隐语义模型所解决的问题 #

从上面的陈述我们可以知道，要想实现隐语义模型，我们需解决以下问题：

如何对物品进行分类，分成几类？

如何确定用户对哪些物品类别有兴趣，兴趣程度如何？

对于一个给定的类，选择这个类中的哪些物品进行推荐，如何确定物品在某个类别中的权重？

对于第一个问题，就是找对应的编辑人进行人工分类，但是人工分类会存在以下问题：

当前的人工分类不能代表用户的意见：比如一本《数据挖掘导论》，从编辑人员的角度看会属于计算机类，但从用户来看，可能会归到数学类；

难以把握分类的粒度：仍以《数据挖掘导论》为例，可分类得粗一点，属于计算机类，也可分得再细一点，属于计算机类别中的数据挖掘类；

难以给一个物品多个类别：一本小说可归为文学类，或言情类等；

难以给出多维度的分类：对物品的分类可从多个角度进行，比如一本书可从内容进行分类，也可从作者角度进行分类；

难以确定一个物品在某一分类中的权重：一个物品可能属于多个类别，但是权重不同；

基于以上局限性，显然我们不能靠由个人的主观想法建立起来的分类标准对整个平台用户喜好进行标准化。隐语义模型是从用户的偏好数据出发进行个性推荐的，即基于用户的行为统计进行自动聚类，所以能解决以上提到的5个问题：

隐语义模型是基于用户的行为数据进行自动聚类的，能反应用户对物品的分类意见；

我们可以指定将物品聚类的类别数k，k越大，则粒度越细；

隐语义模型能计算出物品在各个类别中的权重，这是根据用户的行为数据统计的，不会只将其归到一类中；

隐语义模型得到的物品类别不是基于同一个维度的，维度是由用户的共同兴趣决定的；

# 四、隐语义模型的样本问题 #

隐语义模型在显性反馈数据（也就是评分数据）上能解决评分预测问题并达到了很好的精度。不过推荐系统主要讨论的是隐性反馈数据集，这种数据集的特点 是只有正样本（用户喜欢什么物品），而没有负样本（用户对什么物品不感兴趣）。那么，在隐性反馈数据集上应用隐语义模型解决推荐的第一个关键问题就是如何 给每个用户生成负样本。我们发现对负样本采样时应该 遵循以下原则：

对每个用户，要保证正负样本的平衡（数目相似）；

每个用户采样负样本时，要选取那些很热门，而用户却没有行为的物品：一般认为，很热门而用户却没有行为更加代表用户对这个物品不感兴趣。因为对于冷门的物 品，用户可能是压根没在网站中发现这个物品，所以谈不上是否感兴趣；

# 五、隐语义模型的推导思路 #

隐语义模型是根据如下公式来计算用户U对物品I的兴趣度。

![20191114215304240.png][]

其中，隐语义模型会把物品分成K个类型，这个是我们根据经验和业务知识进行反复尝试决定的，p(u,k)表示用户u对于第k个分类的喜爱程度(1 < k <= K)，q(k, i)表示物品i属于第k个分类的权重(1 < k <= K)。

现在我们讨论下如何计算矩阵P和矩阵Q中的参数值。一般做法就是最优化损失函数来求参数。

损失函数如下所示：

![20191114215306417.png][]

上式中的

![20191114215306485.png][]

是用来防止过拟合的正则化项，λ需要根据具体应用场景反复实验得到。损失函数的意义是用户u对物品i的真实喜爱程度与推算出来的喜爱程度的均方根误差，通俗 来说就是真实的喜爱程度与推算的喜爱程度的误差，要使模型最合理当然就是使这个误差达到最小值。公式中最后两项是惩罚因子，用来防止分类数取得过大而使误 差减少的不合理做法的发生，λ参数是一个常数，需要根据经验和业务知识进行反复尝试决定的。

损失函数的优化使用随机梯度下降算法：

1）对两组未知数求偏导数

![20191114215306908.png][]

2）根据随机梯度下降法得到递推公式

![20191114215305155.png][]

其中α是在梯度下降的过程中的步长(也可以称作学习速率)，这个值不宜过大也不宜过小，过大会产生震荡而导致很难求得最小值，过小会造成计算速度下降，需要经过试验得到最合适的值。最终会求得每个用户对于每个隐分类的喜爱程度矩阵P和每个物品与每个隐分类的匹配程度矩阵Q。在用户对物品的偏好信息矩阵R 中，通过迭代可以求得每个用户对每个物品的喜爱程度,选取喜爱程度最高而且用户没有反馈过的物品进行推荐。

在隐语义模型中，重要的参数有以下4个：

1）隐分类的个数F；

2）梯度下降过程中的步长(学习速率)α；

3）损失函数中的惩罚因子λ；

4）正反馈样本数和负反馈样本数的比例ratio；

这四项参数需要在试验过程中获得最合适的值.1）3）4）这三项需要根据推荐系统的准确率、召回率、覆盖率及流行度作为参考, 而2）步长α要参考模型的训练效率。

# 六、优缺点分析 #

隐语义模型在实际使用中有一个困难，那就是它很难实现实时推荐。经典的隐语义模型每次训练时都需要扫描所有的用户行为记录，这样才能计算出用户对于 每个隐分类的喜爱程度矩阵P和每个物品与每个隐分类的匹配程度矩阵Q。而且隐语义模型的训练需要在用户行为记录上反复迭代才能获得比较好的性能，因此 LFM的每次训练都很耗时，一般在实际应用中只能每天训练一次，并且计算出所有用户的推荐结果。从而隐语义模型不能因为用户行为的变化实时地调整推荐结果 来满足用户最近的行为。

**3 隐语义模型算法精讲**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70 3][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70 4][]

p(u,i) 表示user与item对，如果user点击了item，那么p(u,i)就是1，反之为0。模型最终输出user向量和item向量，也就是Pu和Qi，公式中的f表示向量的维度,也就是user对item喜欢与否的影响因素的个数。补充：这个公式是计算用户u对物品i的兴趣度，是一个矩阵的某个值，f为隐藏类别的个数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70 5][]![2019111421541968.png][]

损失函数：式子中p(u,i)就是我们训练样本的label，也就是说user如果对item进行了点击，那么label就是1，否则 lable就是0，后面这一项就是我们模型预估的user对item的喜好程度，也就是模型产出的参数Pu 与 Qi 转置 的乘积，这里的D是所有的训练样本的集合，我们可以看到如果模型预估的乘积与label越接近的话，损失函数数值越小，反之则越大。第二个式子中，将模型预估的公式按照LFM建模公式展开，![20191114215418536.png][]是正则化系数，是用来平衡平方损失与正则化项的，正则化目的是为了让模型更加简单化， 防止P(u)和Q(i)过度拟合训练样本中的数据，使模型参数变得复杂，泛化能力减弱。

![20191114215419123.png][]![20191114215419115.png][]

损失函数对 ![20191114215417587.png][]的偏导数，我们先考第一部分，如果是单一样本的话，我们看到![20191114215416863.png][]仅与后面一部分有关，因此第一部分我们可以想象成 \[y-k(x)\]^2 的形式，对x求偏导数，根据复合函数求导的链式法则，得 2\[y-k(x)\]\*(-k)=   -2\[y-k(x)\]\*k  ,p(u,i)就是label，也就是这里的y,最终也能得到![201911142154198.png][],再看后面的正则项，正则项对![20191114215418650.png][]

求偏导的时候，与![20191114215417767.png][]是没有关系的，它是常数所以导数为0，而![20191114215418803.png][]实际上是 \[sqrt(pu1^2 +pu2^2+…+puf^2)\]^2,也只有puf这一项对puf求偏导的时候是有作用的，也就是

![20191114215418865.png][]，由于puf和qif是对偶关系，因此可以同理得到损失函数对qif的偏导数。

![20191114215419103.png][]![2019111421541943.png][]

当我们得到两个偏导数之后，就可以用梯度下降的方法，在每一个样本的时候，对于![20191114215418898.png][]和![20191114215418843.png][]进行参数的更新，其中![2019111421541794.png][]为学习率。

下面看一下那些模型的设定会影响最终的结果

![20191114215419128.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191114215104613.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191114215103813.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191114215104133.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE=,size_16,color_FFFFFF,t_70
[20191114215306858.png]: https://img-blog.csdnimg.cn/20191114215306858.png
[20191114215304240.png]: https://img-blog.csdnimg.cn/20191114215304240.png
[20191114215306417.png]: https://img-blog.csdnimg.cn/20191114215306417.png
[20191114215306485.png]: https://img-blog.csdnimg.cn/20191114215306485.png
[20191114215306908.png]: https://img-blog.csdnimg.cn/20191114215306908.png
[20191114215305155.png]: https://img-blog.csdnimg.cn/20191114215305155.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191114215417430.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/2019111421541916.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/2019111421541836.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FuZHk3MTA2NjA1NDE=,size_16,color_FFFFFF,t_70
[2019111421541968.png]: https://img-blog.csdnimg.cn/2019111421541968.png
[20191114215418536.png]: https://img-blog.csdnimg.cn/20191114215418536.png
[20191114215419123.png]: https://img-blog.csdnimg.cn/20191114215419123.png
[20191114215419115.png]: https://img-blog.csdnimg.cn/20191114215419115.png
[20191114215417587.png]: https://img-blog.csdnimg.cn/20191114215417587.png
[20191114215416863.png]: https://img-blog.csdnimg.cn/20191114215416863.png
[201911142154198.png]: https://img-blog.csdnimg.cn/201911142154198.png
[20191114215418650.png]: https://img-blog.csdnimg.cn/20191114215418650.png
[20191114215417767.png]: https://img-blog.csdnimg.cn/20191114215417767.png
[20191114215418803.png]: https://img-blog.csdnimg.cn/20191114215418803.png
[20191114215418865.png]: https://img-blog.csdnimg.cn/20191114215418865.png
[20191114215419103.png]: https://img-blog.csdnimg.cn/20191114215419103.png
[2019111421541943.png]: https://img-blog.csdnimg.cn/2019111421541943.png
[20191114215418898.png]: https://img-blog.csdnimg.cn/20191114215418898.png
[20191114215418843.png]: https://img-blog.csdnimg.cn/20191114215418843.png
[2019111421541794.png]: https://img-blog.csdnimg.cn/2019111421541794.png
[20191114215419128.png]: https://img-blog.csdnimg.cn/20191114215419128.png