推荐系统：实时性【特征实时性：客户端实时特征（秒级，实时）、流处理平台（分钟级，近实时）、分布式批处理平台（小时/天级，非实时）】【模型实时性：在线学习、增量更新、全量更新】

我会带着你远行 2023-09-28 17:39 7阅读 0赞

模型的实时性与模型的训练方式紧密相关，模型的实时性由弱到强的训练方式分别是全量更新，增量更新和在线学习。  
![在这里插入图片描述][b6968413c3c44f3497ceb5c67b38db42.png_pic_center]  
![在这里插入图片描述][384c97fceeb24db09ffc1f1b9ab404c9.png_pic_center]

推荐系统的实时性，包括

1.  特征实时性：更快捕获/更新用户特征
2.  模型实时性：更快发现数据趋势

![在这里插入图片描述][11a91d7d3a0f466993340310db199f83.png_pic_center]  
![在这里插入图片描述][1ff968c572834d0683448741c18bf0df.png_pic_center]  
![在这里插入图片描述][64c44fddaac84f66b596b29e9f21128a.png_pic_center]

## 一、特征实时性（实时性由强到弱） ##

![在这里插入图片描述][c9e98ab5686f489b8749370daf09771b.png_pic_center]

### 1、客户端实时特征（秒级，实时） ###

发生在客户端session，实时计算用户特征，可达秒级  
![在这里插入图片描述][7131b22825f6449982e9d1c9b3275bbd.png_pic_center]

### 2、流处理平台（分钟级，近实时） ###

典型的流处理平台像Flink、Spark Streaming，均具备处理某个时间窗口内的数据流的能力，能够统计用户点击行为等特征，并写入Redis，可达**分钟级**。  
![在这里插入图片描述][a8b7b2d26af044c0bdf27962117b2f3c.png_pic_center]

### 3、分布式批处理平台（小时/天级，非实时） ###

分布式批处理平台（spark, hadoop等）一般处理全量的数据，这个过程中，可能需要准备好并且join多张表，耗费几个小时到天不等。计算得到的特征一般有两个用途：1. 模型训练和离线评估 2. 特征保存到特征数据库，供模型在线推理  
![在这里插入图片描述][8b3e7a397bec4b21955066c36ccd1d95.png_pic_center]

### 二、模型实时性（实时性由强到弱） ###

### 1、在线学习（FTRL） ###

获得一个样本的同时，更新模型。经典的方案：FTRL。

绝大多数产品对“在线学习”都没有需求；

一般用于电商做“大促”的时候；“大促”的时候用户的喜欢很可能与平时有很大的区别，而且实时变化；  
![在这里插入图片描述][ada2ac091fa049f0af2f8de2828f5536.png_pic_center]

### 2、增量更新 ###

将新加入的样本喂给模型，进行训练，往往无法找到全局最优点，所以通常的做法是 n轮增量更新+1轮全量更新

![在这里插入图片描述][e1d9ca3e5d5042c69528ccb0913eb4a7.png_pic_center]

### 3、全量更新 ###

在某个时间段，使用落盘的全量样本对模型进行训练。最常用的模型训练方式  
![在这里插入图片描述][0d64779e757145e5a6422f71eb000462.png_pic_center]

### 4、局部更新 ###

将模型分为两部分，以较快频率更新需要快速迭代的部分，反之则以较慢频率更新。常见的方案为：预训练Embedding+神经网络，其中，预训练Embedding部分无需快速迭代，而上层神经网络部分更新需要较高的实时性。

--------------------

参考资料：  
[推荐系统之实时性][Link 1]  
[实时推荐系统如何做到实时？][Link 2]  
[推荐系统模型的实时性][Link 3]

[b6968413c3c44f3497ceb5c67b38db42.png_pic_center]: https://img-blog.csdnimg.cn/b6968413c3c44f3497ceb5c67b38db42.png#pic_center
[384c97fceeb24db09ffc1f1b9ab404c9.png_pic_center]: https://img-blog.csdnimg.cn/384c97fceeb24db09ffc1f1b9ab404c9.png#pic_center
[11a91d7d3a0f466993340310db199f83.png_pic_center]: https://img-blog.csdnimg.cn/11a91d7d3a0f466993340310db199f83.png#pic_center
[1ff968c572834d0683448741c18bf0df.png_pic_center]: https://img-blog.csdnimg.cn/1ff968c572834d0683448741c18bf0df.png#pic_center
[64c44fddaac84f66b596b29e9f21128a.png_pic_center]: https://img-blog.csdnimg.cn/64c44fddaac84f66b596b29e9f21128a.png#pic_center
[c9e98ab5686f489b8749370daf09771b.png_pic_center]: https://img-blog.csdnimg.cn/c9e98ab5686f489b8749370daf09771b.png#pic_center
[7131b22825f6449982e9d1c9b3275bbd.png_pic_center]: https://img-blog.csdnimg.cn/7131b22825f6449982e9d1c9b3275bbd.png#pic_center
[a8b7b2d26af044c0bdf27962117b2f3c.png_pic_center]: https://img-blog.csdnimg.cn/a8b7b2d26af044c0bdf27962117b2f3c.png#pic_center
[8b3e7a397bec4b21955066c36ccd1d95.png_pic_center]: https://img-blog.csdnimg.cn/8b3e7a397bec4b21955066c36ccd1d95.png#pic_center
[ada2ac091fa049f0af2f8de2828f5536.png_pic_center]: https://img-blog.csdnimg.cn/ada2ac091fa049f0af2f8de2828f5536.png#pic_center
[e1d9ca3e5d5042c69528ccb0913eb4a7.png_pic_center]: https://img-blog.csdnimg.cn/e1d9ca3e5d5042c69528ccb0913eb4a7.png#pic_center
[0d64779e757145e5a6422f71eb000462.png_pic_center]: https://img-blog.csdnimg.cn/0d64779e757145e5a6422f71eb000462.png#pic_center
[Link 1]: https://blog.csdn.net/needlyr/article/details/119181862
[Link 2]: https://www.zhihu.com/question/49965704?ivk_sa=1024320u
[Link 3]: https://blog.csdn.net/u011311291/article/details/122697680