关于Airflow的一些使用小结

朱雀 2021-11-27 07:12 987阅读 0赞

1.首先，官网文档在这：[Airflow Documentation][]。

2.然后，记录一下我觉得写得很不错的几篇关于Airflow的文章。

1) [AirFlow简介][AirFlow]

2) [AirFlow使用第一个DAG示例][AirFlow_DAG]

3) [浅谈调度工具——Airflow][Airflow]

3.关于如何安装，还没试过所以就不总结这个了，而对于Airflow的概念介绍也在上面几篇文章可以详细了解到。一下才是我主要想总结的一些使用的注意事项。

1) 首先，当我们设置Dag的schedule\_interval的时候，如果发现一直不能调度成功，应该就是dag的default\_args设置的start\_date不正确，事实上我们一般会设置成datetime.now()，然后结合schedule的参数来进行调度，但是这样永远也不会自动开始定时调度。为什么呢？Airflow调度机制有点特殊，比如设置每天1点钟，昨天的一点钟就会算作一次调度任务，但是今天的不会，总体调度一次并且立刻开始执行任务，所以设置成now就永远不开始了。

正确的做法是将start\_date设置为前一天：airflow.utils.dates.days\_ago(1)。虽然这样会导致一下子调度n多次，比如schedule设置为一小时一次，那么就会一次性队列里面有24+当前时间个任务排队进行中。或者将start\_date设置为前一个小时。

2) Airflow的Schedule虽然可以写自定义的crontab但是这个格式和往常在别的地方用过的cron表达式格式不太一样。

比如Airflow这里的一般是5位数的，虽然也可以写6位。下图是Crontab格式的说明：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBU3RyaXZlcg_size_16_color_FFFFFF_t_70][]

或者，也可以像官网介绍的这样使用：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBU3RyaXZlcg_size_16_color_FFFFFF_t_70 1][]

比如，常用的一天调度一次可以写成：timedelta(days=1) 或者 @daily

值得注意的是，\*/30 \* \* \* \* 指的是每个小时的30分的时候调度而不是半小时一次，比如说：1:30 , 2:30 ， 3:30 ...

半小时调度一次的写法应该是：0/30 \* \* \* \*

3) Airflow使用的时间默认是UTC的，当然也可以改成服务器本地的时区。

4. 关于airflow发送邮件可以参考：[https://stackoverflow.com/questions/51829200/how-to-set-up-airflow-send-email][https_stackoverflow.com_questions_51829200_how-to-set-up-airflow-send-email]

**注**：

1. 如果遇到[dag正常trigger了但是task没有启动][dag_trigger_task]，注意设置dag的args： 'start\_date': airflow.utils.dates.days\_ago(0)。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBU3RyaXZlcg_size_16_color_FFFFFF_t_70 2][]

2. 如果第一次发布dag到airflow server，有dag语法错误，然后修改后再次发布，这个时候可能会遇到webserver界面还是显示之前的错误， 因为错误是scheduler生成的，也就是说需要重启scheduler了。参考：[Airflow webserver报错][Airflow webserver]。

3. 如果需要在dag中动态生成多个task，可以参考：[Task N+1 is Dependent on TaskN][Task N_1 is Dependent on TaskN] ,  [Airflow Setting up Dependencies][Airflow_Setting up Dependencies]。

4. 如果需要生成Crontab表达式：[Crontab Generator1][]、[Crontab Generator2][]。

[Airflow Documentation]: https://airflow.readthedocs.io/en/1.9.0/code.html
[AirFlow]: https://www.imooc.com/article/69598
[AirFlow_DAG]: https://blog.csdn.net/mnasd/article/details/84190623
[Airflow]: https://www.jianshu.com/p/e878bbc9ead2
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBU3RyaXZlcg_size_16_color_FFFFFF_t_70]: /images/20211126/a61f105ef4f94cb1a5905d82a59210c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBU3RyaXZlcg_size_16_color_FFFFFF_t_70 1]: /images/20211126/ba49f6953bd84392a7817d248209393b.png
[https_stackoverflow.com_questions_51829200_how-to-set-up-airflow-send-email]: https://stackoverflow.com/questions/51829200/how-to-set-up-airflow-send-email
[dag_trigger_task]: https://stackoverflow.com/questions/49021055/airflow-1-9-0-is-queuing-but-not-launching-tasks
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBU3RyaXZlcg_size_16_color_FFFFFF_t_70 2]: /images/20211126/33c2181b2f4c46469e723d1b99a43218.png
[Airflow webserver]: http://mail-archives.apache.org/mod_mbox/airflow-dev/201808.mbox/%3CCAJ-yRLvzOC4ghQZsBK85ivNYvD7+cNGgkv=5n_2Gf1uTZNTsVw@mail.gmail.com%3E
[Task N_1 is Dependent on TaskN]: https://stackoverflow.com/questions/52558018/airflow-generate-dynamic-tasks-in-single-dag-task-n1-is-dependent-on-taskn
[Airflow_Setting up Dependencies]: https://airflow.apache.org/docs/stable/tutorial.html#setting-up-dependencies
[Crontab Generator1]: https://crontab-generator.org/
[Crontab Generator2]: https://crontab.guru/#30,0_5,8_*_*_*