解读：全民K歌直播推荐算法

今天药忘吃喽~ 2022-10-04 15:54 181阅读 0赞

# 1. 业务背景 #

直播推荐与内容推荐的异同，K歌直播与其他直播（如虎牙）的区别：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]

# 2. 推荐系统架构及挑战 #

推荐系统架构  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 1]

# 3 召回模型算法设计 #

召回模型迭代  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 2]

## 3.1 双塔模型（DSSM） ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 3]

## 3.2 召回多模态模型实践 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 4]  
对item侧性多模态的embedding：

*  **Live Streaming View**：我理解就是直播间表格特征，如主播id等
 *  **Song View**：K歌直播业务中，很多直播间会绑定一个Song ID，基于Song ID做embedding。我理解可能是主播在唱的歌 或者 背景音乐吧
 *  **Multi-media View**：这部分就是直播间的内容理解——直播间视频、音频的embedding。我理解线上服务这部分特征应该是异步计算出来的，但是直播间的视频、音频特征具有实时性。**如何异步的截取？这是一个问题**。此外，我认为相比视频、音频特征，其实**对直播间头像图片、房间title的内容理解应该来的会更加直接**。毕竟推荐直接展示给user的是直播间的头像图片和房间title，比如某些男性user就偏好某些女性主播直播间头像。

另外还有一个**多模态融合的问题**。看上图示意，应该是每个模态embedding单独与user embedding进行相似度训练。\*\*这样做的话，每个item就会存在3个embedding。线上服务召回TopK时需要去重。但这种方案就忽略了不同模态之间的权重。\*\*我想到的另外一种方案是，**将各模态的embedding concat起来，全连接映射到user embedding 相同维度（即 item embedding），再做相似度训练**。但这会出现的问题是：有些直播间可能不存在Song ID，需要做特征缺失处理。

# 4. 精排模型算法设计 #

精排模型多维度迭代  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 5]

### 4.1.1 特征处理 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 6]

### 4.1.2 采样及加权 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 7]

## 4.2.1 特征交叉——KFM ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 8]  
这里定义了所谓的KFM，其实可以**简单理解将 ϕ \\phi ϕ视为一个全连接神经网络函数**。  ϕ i , j \\phi\_\{i,j\} ϕi,j就是将j维映射到i维向量的全连接神经网络。这样不同bit维的特征就能进行自由的交叉了。

### 4.2.2 特征交叉——DeepKFM&Cross|AutoInt ###

用Cross、AutoInt引入了高阶特征：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 9]

### 4.2.3 特征交叉——DeepBitInt ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 10]  
其实就是从每个field做emb，变成每个bit unit做emb，在实现上反而更加统一方便。

### 4.3.1 CVR预估——ESMM ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 11]

### 4.3.2 CVR预估——GradNorm ###

参阅：[《多任务学习——【ICML 2018】GradNorm》][ICML 2018_GradNorm]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 12]

### 4.3.3 CVR预估——CGC ###

参阅：[《多任务学习——【RecSys 2020】【腾讯视频】PLE》][RecSys 2020_PLE]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 13]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]: /images/20221004/87869e06060a4aafa776bd8aa67249ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 1]: /images/20221004/cd2b1dae4c284ae797158db2f23dada0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 2]: /images/20221004/c807657de644449291f413fe17dce69c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 3]: /images/20221004/2dba4bcd510b4e3e9e82db830980f758.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 4]: /images/20221004/6d606a30d9a14ebe8c286049a137eaab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 5]: /images/20221004/9a83cd83a56846a29671640bec02cbbc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 6]: /images/20221004/5da2412166d74b378729fcb1190f2220.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 7]: /images/20221004/d147c7d5ea4f4406a20fca670b8a6d8c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 8]: /images/20221004/a67547dfe6574f2cac6f925de2ab13e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 9]: /images/20221004/2795af0077a64cdab107dd6a06c31cbf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 10]: /images/20221004/030f47986bdf4749a7fc155951d76ead.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 11]: /images/20221004/fbdc6727b5f34ae3b3a9d92c765e24a9.png
[ICML 2018_GradNorm]: https://blog.csdn.net/u011239443/article/details/119082620
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 12]: /images/20221004/38b445e1d55c4a31b3e2dc79d6e43e1c.png
[RecSys 2020_PLE]: https://blog.csdn.net/u011239443/article/details/119281296
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70 13]: /images/20221004/5ea0020b5fc74afcbc6a4d511dbad8b1.png