Dataworks的使用——详细说明

╰+攻爆jí腚メ 2023-09-30 14:09 1阅读 0赞

### 一、开通Dataworks ###

（1）百度搜Dataworks，进入如下页面，点击立即开通  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70]  
（2） 这里要选好自己想要的配置，这里展示我之前的配置

解决方案：选DataWorks+MaxCompute组合产品  
DataWorks：标准版  
购买时长：1年  
MaxCompute：按量付费  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 1]

（3）开通好之后，进入Dataworks的控制台，点击dataworks首页  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 2]

### 二、进入dataworks首页 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 3]

### 三、数据开发 ###

（1）点击数据开发，进入如下图  
![在这里插入图片描述][20201201150547686.png]  
（2）新建业务流程  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 4]  
（3）红色框的是离线计算常用的节点，可以拖拉拽这些节点到空白处  
注意：所有业务流程要有一个虚拟节点作为开始节点  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 5]  
（4）通过拖拉拽的方式，可以建立如下的业务流程  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 6]  
（5）调度配置，红色的是一些常用配置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 7]  
调度依赖展示的是上下游节点，可以手动配  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 8]  
（6）提交业务流程，点红色的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 9]  
（7）点红色的发布业务流程  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 10]  
（8）点击后进入如下，点击添加到待发布，打包全部发布  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 11]

（9）进入运维中心  
![在这里插入图片描述][20201201151735152.png]

（10）点周期任务后，可以查看自己发布的业务流程，可以进行测试，但是会产出结果数据，因为这里是正式环境  
![在这里插入图片描述][20201201151832629.png]

### 四、个人总结 ###

刚开始用这个Dataworks的时候还不适应，遇到过很多坑，比如调度配置是怎么配置的，这样配置在正式环境下是怎么运行的，还有ODPS SQL的语法和函数稍显不同等等，只有自己踩过坑之后，才会彻底了解平台是怎么运作的，希望这篇文章对初入Dataworks的小伙伴有帮助。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201201145114471.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201201145245124.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201201145925105.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201201150406911.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[20201201150547686.png]: https://img-blog.csdnimg.cn/20201201150547686.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/2020120115061558.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201201150718875.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201201150957197.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20201201151156354.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20201201151323679.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20201201151445469.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20201201151541747.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20201201151632452.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzU5Njg0,size_16,color_FFFFFF,t_70
[20201201151735152.png]: https://img-blog.csdnimg.cn/20201201151735152.png
[20201201151832629.png]: https://img-blog.csdnimg.cn/20201201151832629.png