21世纪还不懂大数据分析？看完tableau prep 就知道了

爱被打了一巴掌 2022-11-18 02:13 95阅读 0赞

tableau中国交流社区qq群：493184458（免费资料＋大牛问题解决＋案例集合）

## tableau prep概念 ##

> tableau prep顾名思义 prep➡prepare（准备）  
> 是一款简洁，智能的数据处理工具，可以有效的进行数据的清洗，转换以便提供分析。它是tableau家族里面的“门把手”，把一些冗余的数据，或者是需求上的数据，也可以是格式不规范的数据进行etl工作。

## 背景介绍 ##

Tableau Prep正式发布于2018年4月，那时恰逢因为Desktop无法胜任复杂的数据清理，我感到无能为力放弃一小段时间之际，因此可以说Tableau Prep在最关键的时候，让我重拾了对“大数据可视化分析”的信息，之后顺利推广到公司的IT和大数据部门。

## 数据混乱的三大原因 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70]

1.手工录入：人员的差异，或者采集时候容易出现格式，用词的错误  
2.变更迭代：一些统计的方式不断的生成，数据迭代跟不上需求的变更。比如说我的需求要求的是产量总值的地区差异化，而我们统计的方式也必须跟着需求的变化而变化。  
3.系统差异：这里主要的是指各个业务系统之间的CRM,ERP(CRM:客户关系管理，ERP：企业的资源规划)对接口径不一样。

## 业务流程关系 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 1]

> 说明：2019年开始，Tableau Prep调整为两个产品分支，Prep Builder复杂前端的数据可视化整理和输出，Prep  
> Conductor负责Server端的数据流管理和运行部分。↑

使用情况：  
1.数据整理过程，需要对数据做深度的处理，比如非常多的错误值需要清理，大量的0值或null值需要排除——关键是，所需要清理的数据量非常大的时。  
这些功能虽然desktop也能完成，但是prep更高效，可以避免大量的清理运算对desktop可视化造成的性能压力，体现到server段就是提高数据访问者的流畅性。

> 案例：  
> 500M的Excel表格，12列转置后相当于增加了11倍数据，然后清除0值，输出的hyper文件却只有80M，输出耗时大约5分钟。如果同样的操作放在desktop中完成，再发布到Server中提供共享访问，因为数据清理所带来的时间浪费，随着访问用户的增加，可以理解为是倍数级别的。

> 谨记：从效率和性能方面看，区分数据的整理和数据可视化两个环节，是有必要的。就连现在的数据岗位都分为数据的etl工程师，数据可视化工程师（报表工程师），数据开发工程师等。

2.为了提供给可视化的性能，需要大幅度调整数据源的聚合级别并且选择部分数据字段（进行置换）。  
prep在这里担当了临时的数据仓库而已或者理解为程序上的数据缓存的作用。看需求，设级别，在聚合，压数据，提效率。  
3.涉及多次数据的连接，且是在不同阶段数据连接。

> Prep在此方面有几个地方绝对让人过目不让：
> 
> 直观查看连接结果，包括各部分的连接记录数和连接明细；并可基于结果立刻整理；  
> 通过拖拽轻松实现多次连接，更有效率。  
> 连接和整理过程通过流程保存，过程可以重复使用。

4.在我们搭建数仓的时候hive的sql命令也有行列转换的功能，这里的源代码的而在少数情况下，我们还需要行转为列——主要是报表展示的需要。

Desktop在数据源的层面仅能执行一次列转行操作，而多次转置和行转列是Prep独有的功能，加上Prep可以在一个流程的多个地方执行转置，在转置方面就更加强大。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 2]  
下一篇：tableau prep 界面介绍和数据连接

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70]: /images/20221022/76ad24f5e23149f8b0befb27112109fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 1]: /images/20221022/9f1f2e7067404e8a816022ac929f43be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70 2]: /images/20221022/4992308f24074fda9087a5f8eb6e089f.png