金灿灿的季节 - Apache DolphinScheduler收获5位新Committer

电玩女神 2023-02-13 11:24 6阅读 0赞

在这个金灿灿的收获季节，经过 Apache DolphinScheduler PPMC 们的推荐和投票，Apache DolphinScheduler 收获了 5 位新Committer 。他们是：nauu(朱凯)、Rubik-W(温合民)、gabrywu、liwenhe1993、clay4444。对于成为 Committer ，小伙伴们说道：

朱凯：

> 非常荣幸能够成为DolphinSchedule 的 Committer。这既是一份喜悦，也是一份责任。我将以终为始，继续打怪升级，助力 DS 早日毕业。

温合民：

> 很荣幸成为DS Committer团队的一员。通过技术调研了解到DS，最终选型决定引入DS，高效的社区支持使项目最终顺利落地。DS是我参与开源的第一个项目，深受益于开源，同时也想为开源做一些力所能及的贡献，希望未来能更多的为DS添砖加瓦，愿DS顺利毕业。

**社区介绍：**

Apache DolphinScheduler 是一个非常多样化的社区，至今贡献者已近100名， 他们分别来自 30 多家不同的公司。 微信群用户3000人。![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29EYWlMaURvbmc_size_16_color_FFFFFF_t_70][]

**Apache DolphinScheduler 部分用户案例(排名不分先后)**

已经有300多家企业和科研机构在使用DolphinScheduler，来处理各类调度和定时任务，另有近500家公司开通了海豚调度的试用：

![format_png][]

**Apache DolphinScheduler 是什么**

Apache DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

**Apache DolphinScheduler项目起源 - 需求决定**

![format_png 1][]

**Apache DolphinScheduler四大特性**

![format_png 2][]

**Apache DolphinScheduler 能力:**

*  以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
 *  支持丰富的任务类型：Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub\_Process、Procedure等
 *  支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
 *  支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
 *  支持工作流全局参数及节点自定义参数设置
 *  支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
 *  支持任务日志在线查看及滚动、在线下载日志等
 *  实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
 *  支持对`Master/Worker` cpu load，memory，cpu在线查看
 *  支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
 *  支持补数
 *  支持多租户
 *  支持国际化

**Apache DolphinScheduler 1.3.0 新特性**

*  Worker实现重构，提升Worker性能
    
     *  Master和Worker引入Netty通信
     *  去zookeeper任务队列
     *  Worker节点的三种选择：随机、循环和CPU和内存的线性加权负载平衡
     *  Worker去数据库操作
 *  资源中心支持多目录
 *  添加 if/else 条件任务
 *  添加 sqoop/datax 任务
 *  支持 windows 开发和部署
 *  支持 k8s 部署
 *  添加DAG流程图一键格式化
 *  流程图美化
 *  支持 ambari 插件安装
 *  批量导出和导入工作流
 *  流程定义支持复制
 *  添加钉钉告警
 *  大幅简化配置项，简化部署

**Apache DolphinScheduler Roadmap**

总体依照社区需求和关注度来安排功能优先

*   master 重构：建立 api 和 master 通信等
 *   任务参数传递
 *   任务类型插件化Plugin
 *   工作流触发
 *   数据质量
 *  工作流血缘关系
 *   列表依赖(上游依赖)
 *   告警服务化
 *   权限改造
 *   支持多集群上线发布
 *   工作流版本管理
 *   Easy to use

**系统部分截图**

![format_png 3][]

![format_png 4][]![format_png 5][]

![format_png 6][]![format_png 7][]

![format_png 8][]

![format_png 9][]

**在线DEMO试用**

**http://106.75.43.194:8888/**

**DolphinScheduler Slogan**

![format_png 10][]

**加入 Apache DolphinScheduler**

在使用 DolphinScheduler 的过程中，如果您有任何问题或者想法、建议，都可以通过Apache 邮件列表参与到 DolphinScheduler 的社区建设中来。

欢迎加入贡献的队伍，加入开源社区从提交第一个 PR开始,

- 找到带有”easy to fix”标记或者一些非常简单的issue(比如拼写错误等)，先通过第一个PR熟悉提交流程，如果有任何疑问，欢迎联系

![format_png 11][]

**强烈推荐订阅开发邮件列表，与社区保持最新信息同步，这一点非常重要。**

近期好文推荐：《[美女 Committer 手把手教你使用海豚调度][Committer]》

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29EYWlMaURvbmc_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200528190329517.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29EYWlMaURvbmc=,size_16,color_FFFFFF,t_70
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9RNDhiUFlxWVpwa2pUN2VRNkNhMEpsNk1oaWNXZjUzT0k3cVJ3TFdybkxZNDNDaWNvMkFFVTJPOGlhRlE0NE1oVmdoTElQcVI5TVU4WmNMdVIyN05CeGljUEEvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9RNDhiUFlxWVpwa2pUN2VRNkNhMEpsNk1oaWNXZjUzT0kxeVNOb2FMOWljcjZaREtndU5mUHZBMDBOWW9Oejd4NWdHVjB5bHR4THFCUG5ObzMzeURiZ1NRLzY0MA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9RNDhiUFlxWVpwa2pUN2VRNkNhMEpsNk1oaWNXZjUzT0lQMG5xc3U0NEhtZXdzMlFHYlBQUmlhZWlhZ2p3M3lnQ0w4b2tZRzlGUngxZFl1a20zZHFYUFhMdy82NDA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9RNDhiUFlxWVpwbFhvcDhUQ2dGS3lvaE9JOWljWDBQYzhkTXR0V1R1a3lFeWY4SDEyd1RpYWljWmN1bFZ6VE5HcGRpYjk2allqZVJ4bU8wT2J5RnRzeE5oSWcvNjQw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9RNDhiUFlxWVpwbFhvcDhUQ2dGS3lvaE9JOWljWDBQYzhpYVdLMUpNSDZSYW1jem9nNGJKaGdnY0JqY0RDMTJxaWNYVExvQ2dRVjZKaWFFeGwzdW81ZlhZUXcvNjQw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9RNDhiUFlxWVpwbFhvcDhUQ2dGS3lvaE9JOWljWDBQYzhoYWliTWd6TjFWZk81Wjg5UWhOSTNPSmJZZjQ1RWhjcFF6U3d2S1FSSGUyUjNZM2t5S2lhOXNSQS82NDA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9RNDhiUFlxWVpwbFhvcDhUQ2dGS3lvaE9JOWljWDBQYzh5eGRVcU42V0tmZHhtTTJUSHNrWDN4TGF0c0ptSmdUZVpQQmg1SkxHV3FMdUp6ZUJTTkpkZmcvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9RNDhiUFlxWVpwbFhvcDhUQ2dGS3lvaE9JOWljWDBQYzhpYzFFWmliamxpYlJwa1BWNDN1QzZKYnhSQ1pnczBaWGRLeW5ZZkp1SG1yTE53aEgxNVJJQXRnNncvNjQw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9RNDhiUFlxWVpwbFhvcDhUQ2dGS3lvaE9JOWljWDBQYzhKVlFJZ1o5M21TSU5YcXEzbExIV0xZQjJURDNvbWliRHkxNGRsWjMwd1lpY1M3RzNWR1BmeFFWUS82NDA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9RNDhiUFlxWVpwbFhvcDhUQ2dGS3lvaE9JOWljWDBQYzhtenlSSm56Sm9yQlp0VjJyVDY1aWJ4d254MHVydHdGc3pabUV1RVJmS21xWVZpYXd2MWd6bUJ3dy82NDA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9RNDhiUFlxWVpwa2pUN2VRNkNhMEpsNk1oaWNXZjUzT0lkV005WWxFR09kY0dKS3RHZ1U5dXI1WE5tUTBwckI4b1dtNEIzcG94VEFNMzB4NjZsVENCcmcvNjQw?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9RNDhiUFlxWVpwa2pUN2VRNkNhMEpsNk1oaWNXZjUzT0lqY1BMOWVCWmt5V0NPb3lHOEtVakZXYTBUbUE2dXVGMXNCbGY4WHpvUXAxZG5GeHN0NTZpY0l3LzY0MA?x-oss-process=image/format,png
[Committer]: http://mp.weixin.qq.com/s?__biz=MzA4NDYxNTc2NA==&mid=2247483868&idx=1&sn=40387f8a1b0d2603f5d5fe2417b9748b&chksm=9fe536e7a892bff16f1bf027c98c85da31b1ae2429f139c24b64dc1ad983ea1e17e053ba7f42&scene=21#wechat_redirect