2.企业应用系统设计之海量数据去重

川长思鸟来 2022-10-07 04:56 195阅读 0赞

### 企业应用系统设计之海量数据去重 ###

*   *  1.1 序
     *  1.2 解决方案之 SQL 函数 not in
     *  1.3 解决方案之 SQL 函数 not in + 阻塞队列+Redis
     *  1.4 解决方案之 Redis 布隆过滤器
     *  1.5 解决方案之时间线
     *  1.6 解决方案之原始视频表+备选推荐表
     *  2. 更多资料

## 1.1 序 ##

对于一个拥有短视频业务的推荐系统来说，想要做到千人千面之前首先需要解决的一个问题就是如何针对海量数据去重。

## 1.2 解决方案之 SQL 函数 not in ##

先来说第一种解决方案，首先我们需要记录视频对用户A的用户视频曝光记录表和观看时长记录表。

其次，通过数据库的SQL 函数not in 将用户视频曝光记录表和观看时长记录表中的视频排除掉.

这也是我们公司最早期的一种做法。

## 1.3 解决方案之 SQL 函数 not in + 阻塞队列+Redis ##

当然，上面这种方法虽然可以实现，但是查询速度会很慢。

因此，可以采取的一种改进解决方案是离线过滤+ 实时返回推荐结果。

也就是说，这种去重耗时的操作放到离线处理中，推荐系统进行推荐的时候取的视频库源是离线处理后的结果。

另外，如果为每个用户提供全部的视频去重备选库，那么存储会是个很大的问题。

毕竟，总不能一万个用户，十万个视频，对每个用户都存储一份专属于这个用户的视频数据吧？

既然这样不行，那么能不能每个用户给他十个备选视频库呢？

思路是这样的，基于队列模型, 定时任务为最近活跃用户初始化推荐的十个视频。

这是个视频要放到队列中,这里我采用的是`LinkedBlockingQueue<VideoAppVO>`

用户每看到一个1个视频，前端就调用一个接口，在这个接口中开启线程生产五个视频

生产成功的视频通过队列添加,添加完成后放到redis缓存起来。

这样用户看完五个的时候就拉取新的5个视频，不再从数据库取，而是直接从redis取出来队列。

从队列的队首取出来五个视频。

如此一来就可以达到一个循环。

这样的好处是推荐的视频是几乎是真正达到实时的推荐和计算。

总结思路就是：

>  *  用户首次发出视频请求, 根据查询指标，返回前5条视频，其实服务端还留有五条。  
>     由于用户一般不可能一秒钟看完十个视频,就算手速速度再快也几乎不可能。
>  *  当用户看完前5条视频的时候就返回服务端之前的五条反馈，用户看视频信息特征召回，更新查询指标，开始计算下五个视频。

## 1.4 解决方案之 Redis 布隆过滤器 ##

参考: [抖音是怎么做到不重复推荐内容呢？][Link 1]

这种方案虽然理论上速度很快，技术上也可行但是需要非常大的内存支持，博主认为并非最佳方案。

## 1.5 解决方案之时间线 ##

有一种解决思路是时间线过滤方法，只过滤最近三天或者指定日期天数，这样能将视频做一个过滤。

核心技巧就是：记录用户看视频的最后时间，然后推送这个最后时间之后发布的视频。

## 1.6 解决方案之原始视频表+备选推荐表 ##

还有一种架构设计思路是原始视频库离线计算+ 推荐库实时计算。

原始视频库存放最原始的视频数据，推荐库都是为每个用户去重后的视频。

首先，我们需要统计当前原始视频库最热门的一千个视频，用做冷启动。

其次，根据用户信息画像等信息查找五十个视频去重后插入备选推荐库。

然后根据用户正在看的视频进行实时计算修改这五十个视频排序，并根据观看内容通过任务流计算出用户当前感兴趣的视频，然后插入备选推荐库。

用户每看完一个从备选推荐库里面要删除一个视频记录，于此同时要新生产几个用户停留较久类似的视频。

如果不是活跃用户，初次打开，或间隔好久才打开从打开最后一次打开的时间线过滤视频，将这个时间线之后的视频取出来top 热门和用户曾经感兴趣的视频。

这样相当于为每个活跃用户每天生产并维护五十个左右的备选推荐视频.

如果用户量确实比较大，数据存储可以分区域存放。

个人感觉是目前能想到的最佳解决思路。

## 2. 更多资料 ##

>  *  [千万用户推荐去重算法][Link 2]
>  *  [推荐算法之去重策略][Link 3]

[Link 1]: https://mp.weixin.qq.com/s/2z1mmi3imCkUaphEShaR_g
[Link 2]: https://www.v2ex.com/t/450968
[Link 3]: https://www.cnblogs.com/gczr/p/11232171.html

发表评论取消回复

表情：

评论列表（有 0 条评论，195人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink海量数据实时去重

Flink海量数据实时去重方案1: 借助redis的Set 具体实现代码缺点 1. 需要频繁连接Redis 2. 如果数据量过大, 对redis的内存也

男娘i/ 2022年11月07日 14:56/ 0 赞/ 225 阅读

相关 1. 企业应用系统设计之签到

企业应用系统设计之签到 1.1 企业需求背景 1.2 签到系统设计 1.2.1 当天签到 1.2.2

ゝ一纸荒年。/ 2022年10月14日 00:45/ 0 赞/ 180 阅读

相关 2.企业应用系统设计之海量数据去重

企业应用系统设计之海量数据去重 1.1 序 1.2 解决方案之 SQL 函数 not in 1.3 解决方案之 SQL 函数 no

川长思鸟来/ 2022年10月07日 04:56/ 0 赞/ 196 阅读

相关 MapReduce 之数据去重

最近要更新一些MapReduce实例应用的系列文章。文章结构上包括以下几个部分：1.、问题背景；2、基于MapReduce的解决思路；3、代码实现；4、运行结果。 1. 问

ゝ一纸荒年。/ 2022年08月22日 03:54/ 0 赞/ 279 阅读

相关海量数据去重之SimHash算法简介和应用

SimHash是什么 SimHash是Google在2007年发表的论文《Detecting Near-Duplicates for Web Crawling 》中提到的

一时失言乱红尘/ 2022年08月09日 06:19/ 0 赞/ 225 阅读

相关 MapperReduce之数据去重

有两个文件file1,file2 里面的数据如下 file1： 2016-6-1 b 2016-6-2 a 2016-6-3 b 2016-6-4 d

ゝ一世哀愁。/ 2022年05月29日 06:50/ 0 赞/ 356 阅读

相关海量数据去重之SimHash算法简介和应用

\[img\]http://dl2.iteye.com/upload/attachment/0112/3040/a7a26162-fe11-3ce1-bb11-9884b9bc

布满荆棘的人生/ 2022年04月12日 10:48/ 0 赞/ 297 阅读

相关使用SimHash进行海量文本去重

[https://www.cnblogs.com/maybe2030/p/5203186.html][https_www.cnblogs.com_maybe2030_p_520

偏执的太偏执、/ 2021年12月12日 17:51/ 0 赞/ 258 阅读

相关 simhash海量文本去重的工程化

[https://yuerblog.cc/2018/05/30/simhash-text-unique-arch/][https_yuerblog.cc_2018_05_30_

忘是亡心i/ 2021年12月05日 04:07/ 0 赞/ 339 阅读

相关海量数据去重之SimHash算法简介和应用

SimHash是什么 SimHash是Google在2007年发表的论文《Detecting Near-Duplicates for Web Crawling 》中提到的

亦凉/ 2021年05月12日 11:55/ 0 赞/ 481 阅读