大数据：业务——推荐系统基本概述

落日映苍穹つ 2022-09-16 05:56 52阅读 0赞

### 文章目录 ###

*   *  一、搜索引擎概述
     *  二、广告系统概述
     *   *  2.1 搜索广告
     *  三、优酷推荐系统概述

## 一、搜索引擎概述 ##

爬取

在互联网

形成网页库

索引系统

检索系统

用户

**理解倒排：**  
倒排以字或词为关键字(key)进行索引，表中关键字所对应value是(链接)url。

例如 用户输入大数据，会显示很多关于大数据的连接。  
大数据 -> url1,url2…  
大数据的5个v ->url1,url2…  
大数据组件 -> url1,url2…

搜索引擎的组成一般：

*  通过爬虫爬取数据到网页库；
 *  建成索引系统：分析整理爬虫收集到的资源，为检索系统提供数据；
 *  检索系统：从预处理好的资源里挑选出用户最满意的结果最快最好的展现。

--------------------

## 二、广告系统概述 ##

从客户、广告主、合作伙伴 收集到许多大数据，再把大数据细分成多个业务系统，例如订单系统，购物车系统、用户系统，用户投诉、用户查询等等；

这些离线的数据进行整合落实到HDFS，对接到Hadoop平台中；基于Hadoop平台上，我们会架构应用到一些基础的算法，根据不同的场景，用不同的算法；例如，对用户进行标签，会用到聚类算法，对物品进行预估的打分模型算法等等。

根据用户历史行为、本身特征，这些就是不同的策略依据，反补到不同的推荐引擎。例如根据某用户的购买习惯，他喜好够买吃的、零食等，这些特征通过算法推荐出300个商品到，其中在推荐引擎A有50个商品、推荐引擎B有150个商品、推荐引擎C有100个商品。但我们在前端展示只推荐10个商品。

那如何在300个商品中推荐10个呢？  
我们业务规则过滤，去重，打分，给用户展现10个最高分的商品。

--------------------

### 2.1 搜索广告 ###

参与的三方：网民、广告主、搜索平台

**广告触发：keyword Targeting**

*  广告主和网民通过关键词表达需求；
 *  网民输入的query(询问)和广告主购买的keyword进行匹配。

网民输入query(询问)，系统进行匹配与检索，在广告库中跟query(询问)匹配的数据形成广告索引。

当匹配到200个符合条件的广告索引，那如何给用户推荐5个呢？

**判断的依据有：**

*  ctr(预估)：针对曝光的点击率，点击率用于广告排序和推断；保护网民利益，用户体验等依据。
 *  bid：广告商给广告的价格

通过 **广告竞价排名规则 = ctr\*bid** 形成一个广告候选集，然后在诸多候选中，选出最好的5个推荐给用户。

--------------------

## 三、优酷推荐系统概述 ##

日志信息层

策略层

数据结果层

展现层

日志信息层：用户行为日志、视频信息、推荐请求日志、推荐点击日志；

策略层：用户特征模型物、品特征模型、结构化数据源、推荐策略库；

数据结果层：离线推荐结果、在线推荐结果

展现层：推荐结果融合、用户最近观看行为、用户推荐点击行为。

发表评论取消回复

表情：

评论列表（有 0 条评论，52人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据推荐系统项目

*推荐系统的本思想** • 利用用户和物品的特征信息，给用户推荐那些具有用户喜欢的特征的物品。 • 利用用户喜欢过的物品，给用户推荐与他喜欢过的物品相似的物品。 •...

傷城~/ 2024年04月20日 09:13/ 0 赞/ 71 阅读

相关推荐系统-召回-概述(五)：一切为了业务

在前面几篇文章里，我们介绍了主流的召回模型和算法。但算法更多地是从个性化推荐的角度来解决问题。许多业务上的问题，如安全问题、商业价值、用户体验、流量扶持等种种业务需求，仅仅基于

﹏ヽ暗。殇╰゛Y/ 2023年09月25日 13:29/ 0 赞/ 108 阅读

相关推荐系统之大数据应用

1.大数据应用案例首先普及一下数据量单位，然后再来看BAT大数据应用字节 byte：8个二进制位为一个字节(B),最常用的单位. 1KB (Kilobyte

系统管理员/ 2023年06月29日 08:29/ 0 赞/ 3 阅读

相关推荐系统实践--概述

为什么需要推荐系统随着信息技术和互联网的发展，人们逐渐从信息匮乏的时代走入了信息过载（information overload）的时代。在这个时代，无论是信息消费者

红太狼/ 2023年06月04日 05:51/ 0 赞/ 54 阅读

相关大数据技术之电商推荐系统(4) | 初始化业务数据

目录一.数据加载准备 Products数据集 Ratings数据集日志管理配置文件二.数据初始化到MongoDB

女爷i/ 2022年12月21日 03:08/ 0 赞/ 220 阅读

相关推荐系统概述

什么是推荐系统推荐系统可以把哪些最终会在用户（User）和物品（ltem）之间产生的连接提前找出来。例如:社交产品一脸书从已经建立社交关系的用户身上去推测你还可

偏执的太偏执、/ 2022年10月29日 10:28/ 0 赞/ 228 阅读

相关大数据：业务——推荐系统基本概述

文章目录一、搜索引擎概述二、广告系统概述 2.1 搜索广告三、优酷推荐系统概述一、搜索引擎概述

落日映苍穹つ/ 2022年09月16日 05:56/ 0 赞/ 53 阅读

相关【推荐系统】推荐系统概述

更新时间：2018-11-24 前言这一系列文章会来介绍推荐系统，也是我边学习边分享的过程，之前有接触过，但这次会较为系统的学习研究，所以打算把自己学到的东西整

客官°小女子只卖身不卖艺/ 2022年06月02日 08:22/ 0 赞/ 325 阅读

相关推荐系统概述

本文转载自:[推荐系统概述][Link 1] 前言许多人把推荐系统视为一种神秘的存在，他们觉得推荐系统似乎知道我们的想法是什么。Netflix 向我们推荐电影，还有亚

梦里梦外;/ 2022年05月17日 06:10/ 0 赞/ 434 阅读

相关推荐系统概述（一）

推荐系统是一种信息过滤系统，用于预测用户对物品的评分或偏好。解决的是信息过载和长尾问题(长尾理论)。它的本质是通过一定的方式将用户和物品联系起来。推荐系统在为用户推荐物品

我不是女神ヾ/ 2022年01月07日 11:55/ 0 赞/ 500 阅读