airflow 进阶
上一篇介绍了 airflow 的基本概念和操作,隔了两个月,终于觉得要写些进阶内容了, 同时也在公司内开始摸索着使用了起来,中间也是遇到了许多问题,如这个项目的网址所表达的, 现在仍是一个孵化项目,使用在线上仍需谨慎。我就来做回吃螃蟹的人,分享下最近使用的心得, 以及遇到的一些问题。
airflow 简明指南
最近被线上任务折磨得不行了,总是隔三差五出各种问题,导致日志丢了或者脚本没跑成功, 出了问题就需要手动去修复,比如手动把少的日志补齐,重跑失败的脚本。有些脚本之间有依赖关系, 手动跑起来就比较复杂,需要隔一会看一眼脚本有没有跑完,再接着跑下一个,严重影响效率。 所以我想如果有个程序能帮我定义好我的任务依赖关系,由它来自动解决运行时的依赖, 如果能有可视化界面看到执行状态,管理任务就更好了。 最近找到一个满足现在这些需求的开源项目—— airflow。