大数据设计方案V1.0

梦里梦外; 2022-12-11 07:49 86阅读 0赞

### 目录 ###

*  一.系统数据流程设计
 *   *  集群流程图
     *  集群框架图
     *  集群特点
 *  二.具体版本选型
 *  三.服务器选型
 *   *  机器成本考虑
     *   *  物理机
         *  云主机
     *  运维成本考虑
     *   *  物理机
         *  云主机
 *  四.集群规模
 *   *  数据量分析
     *   *  用户行为数据
         *  Kafka中数据
         *  业务数据
         *  集群总规模
         *  服务器台数
     *  集群规划
     *  离线测试集群服务器规划
 *  五.人员配置
 *  六.集群搭建用时
 *   *  离线测试集群搭建用时
     *  离线正式集群搭建用时
     *  实时测试集群搭建用时
     *  实时正式集群搭建同时
 *  首批指标查询用时
 *   *  常用指标用时
     *  实时指标用时
     *  临时指标用时
     *  活动指标用时(需提前给到)
     *  特殊指标用时
     *  风险预警指标用时
 *  Bug处理用时
 *   *  框架Bug处理用时
     *  指标Bug处理用时

# 一.系统数据流程设计 #

## 集群流程图 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]

## 集群框架图 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 1]

## 集群特点 ##

(1)多数据源对接能力  
(2)离线批量/在线实时处理  
(3)统一的集群管理配置监控平台  
(4)实现用户认证和权限管理,满足多租户需求

# 二.具体版本选型 #

Apache框架版

<table> 
 <thead> 
  <tr> 
   <th>产品</th> 
   <th>版本</th> 
   <th>特点</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Hadoop</td> 
   <td>2.7.7</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Flume</td> 
   <td>1.7.0</td> 
   <td>1.支持断点续传 2.官方HDFS接口 3.自带事务，不容易丢数据</td> 
  </tr> 
  <tr> 
   <td>Kafka</td> 
   <td>0.11.02</td> 
   <td>1.支持多个消费者接口 2.0.10后，sparkstreaming只支持DirectAPI</td> 
  </tr> 
  <tr> 
   <td>Kafka Eagle</td> 
   <td>1.3.7</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Hive</td> 
   <td>1.2.1</td> 
   <td>支持大规模的数据计算</td> 
  </tr> 
  <tr> 
   <td>Sqoop</td> 
   <td>1.4.6</td> 
   <td>采用命令行的方式调用任务</td> 
  </tr> 
  <tr> 
   <td>Mysql</td> 
   <td>5.6.24</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Azkaban</td> 
   <td>2.5.0</td> 
   <td>1.兼容任何版本的hadoop 2.调度工作流 3.认证/授权(权限) 4.成功和失败会发电子邮件提醒 易于使用的web页面 6.方便设置任务之间的关系</td> 
  </tr> 
  <tr> 
   <td>Java</td> 
   <td>1.8</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Zookeeper</td> 
   <td>3.4.10</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Hbase</td> 
   <td>1.3.1</td> 
   <td>分布式，可扩展，海量数据存储的NoSQL数据库</td> 
  </tr> 
  <tr> 
   <td>Phonenix</td> 
   <td>4.14.1</td> 
   <td>1.Hbase的开源SQL皮肤，方便操作 2.支持Hbase的二级索引</td> 
  </tr> 
  <tr> 
   <td>Canal</td> 
   <td>1.12</td> 
   <td>支持任意格式的数据格式</td> 
  </tr> 
  <tr> 
   <td>Elasticsearch</td> 
   <td>6.3.1</td> 
   <td>对海量数据进行实时的处理</td> 
  </tr> 
  <tr> 
   <td>Kibana</td> 
   <td>6.3.1</td> 
   <td>为Es设计的开源分析和可视化平台</td> 
  </tr> 
  <tr> 
   <td>Spark</td> 
   <td>2.1.1</td> 
   <td>1.基于内存运算，比hadoop快100倍 2.支持java，python和scala的API 3.提供了统一的解决方案 4.极易方便和Hadoop环境进行融合</td> 
  </tr> 
  <tr> 
   <td>Redis</td> 
   <td>3.2.5</td> 
   <td>自带去重功能</td> 
  </tr> 
 </tbody> 
</table>

# 三.服务器选型 #

## 机器成本考虑 ##

### 物理机 ###

### 云主机 ###

## 运维成本考虑 ##

### 物理机 ###

需要有专门的运维人员

### 云主机 ###

运维工作由阿里云完成

# 四.集群规模 #

## 数据量分析 ##

### 用户行为数据 ###

(1)每天日活跃用户50万,每人一天平均100条: 50万*100条 = 5000万条
    (2)每条日志约1k左右, 每天1亿条: 50000000/1024/1024 ≈ 50G
    (3)数仓ODS层采用LZO+ORC存储: 50G压缩为5G左右
    (4)数仓DWD层采用LZO+ORC存储: 5G左右
    (5)数仓DWS层轻度聚合存储: 25G左右
    (6)数仓ADS层数据量: 很小,忽略不计
    (7)保存3副本: 35G*3 = 105G
    (8)半年内不扩容服务器: 105G*180天 ≈ 19T
    (9)预留20%~30%Buf = 19T/0.7 ≈ 28T

### Kafka中数据 ###

(1)每天约50G数据*副本(2) = 100G
    (2)保存3天*100G = 300G
    (3)预留30%BUf = 300G/0.7 ≈ 430G

### 业务数据 ###

(1)每天业务数据10万条, 每条数据1k左右: 10万*1k ≈ 100M左右
    (2)数仓四层存储: 100M*3 = 300M 
    (3)保存3副本: 300M*3 ≈ 1G
    (4)半年内不扩容服务器来算: 1G*180天 ≈ 180G
    (5)预留20%~30%Buf = 180G/0.7 ≈ 250G

### 集群总规模 ###

28T + 430G + 250G ≈ 30T

### 服务器台数 ###

约8T\*5台服务器

## 集群规划 ##

<table> 
 <thead> 
  <tr> 
   <th>1</th> 
   <th>2</th> 
   <th>3</th> 
   <th>4</th> 
   <th>5</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DataNode</td> 
   <td>DataNode</td> 
   <td>DataNode</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>NodeManager</td> 
   <td>NodeManager</td> 
   <td>NodeManager</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>ResourceManager</td> 
   <td>ResourceManager</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td>NameNode</td> 
   <td>NameNode</td> 
  </tr> 
  <tr> 
   <td>Zookeeper</td> 
   <td>Zookeeper</td> 
   <td>Zookeeper</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Kafka</td> 
   <td>Kafka</td> 
   <td>Kafka</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Flume</td> 
   <td>Flume</td> 
   <td>Flume</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Hbase</td> 
   <td>Hbase</td> 
   <td>Hbase</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td>Hive</td> 
   <td>Hive</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td>Mysql</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td>Spark</td> 
   <td>Spark</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td>ES</td> 
   <td>ES</td> 
  </tr> 
  <tr> 
   <td>Sqoop</td> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>Azkaban</td> 
   <td>Azkaban</td> 
   <td>Azkaban</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## 离线测试集群服务器规划 ##

<table> 
 <thead> 
  <tr> 
   <th>服务器名称</th> 
   <th>自服务</th> 
   <th>服务器hadoop12</th> 
   <th>服务器hadoop13</th> 
   <th>服务器hadoop14</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HDFS</td> 
   <td>NameNode</td> 
   <td>√</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>DataNode</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>HA</td> 
   <td>√</td> 
   <td>√</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Yarn</td> 
   <td>NodeManager</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>Resourcemanager</td> 
   <td></td> 
   <td>√</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Zookeeper</td> 
   <td>Zookeeper server</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
  </tr> 
  <tr> 
   <td>Flume(采集)</td> 
   <td>Flume</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
  </tr> 
  <tr> 
   <td>Kafka</td> 
   <td>Kafka</td> 
   <td>√</td> 
   <td>√</td> 
   <td>√</td> 
  </tr> 
  <tr> 
   <td>Flume(消费)</td> 
   <td>Flume</td> 
   <td></td> 
   <td></td> 
   <td>√</td> 
  </tr> 
  <tr> 
   <td>Hive</td> 
   <td>Hive</td> 
   <td>√</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>MySQL</td> 
   <td>MySQL</td> 
   <td>√</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Sqoop</td> 
   <td>Sqoop</td> 
   <td>√</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>Azkaban</td> 
   <td>Azkaban WebServer</td> 
   <td></td> 
   <td>√</td> 
   <td>√</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>AzkabanExecutorServer</td> 
   <td>√</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>服务器总数</td> 
   <td></td> 
   <td>11</td> 
   <td>8</td> 
   <td>7</td> 
  </tr> 
 </tbody> 
</table>

# 五.人员配置 #

组长 : 	1名
    组员 : 	2名
    任务职责 :	无明确分工
    熟悉技能 :	Hadoop, Hive, Flume, Kafka, Azkaban, Java/Scala, Spark, Sqoop, Zookeeper, Redis, MySQL, Xshell
    了解技能 :	SparkStreaming, Flink, Hbase, Phoenix, ES

# 六.集群搭建用时 #

## 离线测试集群搭建用时 ##

时间 : 不超过3周

## 离线正式集群搭建用时 ##

时间 : 不超过4周

## 实时测试集群搭建用时 ##

时间 : 不超过2周

## 实时正式集群搭建同时 ##

时间 : 不超过3周

# 首批指标查询用时 #

注: 首批指标要优先熟悉业务字段, 导致首批指标查询用时稍长

## 常用指标用时 ##

(日活,周活,用户活跃,用户新增,用户留存,漏斗分析,Gmv,流失用户,增长率,成交转化率,询单量,询单转化率,退单率等等)  
                         **每个指标时间 : 0.5天 ~ 1.5天**

## 实时指标用时 ##

(时活,订单量,接货量,交易额,广告点击,区域订单等等)  
                         **每个指标时间 : 1天 ~ 2天**

## 临时指标用时 ##

**每个指标时间 : 1.5天 ~ 3天**

## 活动指标用时(需提前给到) ##

**每个指标时间 : 1天 ~ 1周**

## 特殊指标用时 ##

(潜在用户,商品季度,复购率等等)  
                         **每个指标时间 : 3天 ~ 2周**

## 风险预警指标用时 ##

(黑名单等等)  
                         **每个指标时间 : 3天 ~ 1周**

# Bug处理用时 #

## 框架Bug处理用时 ##

**时间 : 1周 ~ 4周**

## 指标Bug处理用时 ##

**时间 : 1天 ~ 3天**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/ee7b1bcd67eb44809a26ef0679846d27.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/059cbf7de7e94620a22c2342d49f33fc.png