Apache Airflow 数据编排实战

数据管道通过整合、清理、分析、可视化等方式来管理初始收集的数据流。ApacheAirflow提供了一个统一的平台，可以使用它设计、实施、监控和维护数据的流动。Airflow具有易于使用的UI、即插即用的选项以及灵活的Python脚本，这些都使Airflow能够非常轻松地完成任何数据管理任务。在《ApacheAirflow数据编排实战》中，介绍了如何构建和维护有效的数据管道。与你一同探索最常见的使用模式，包括聚合多个数据源、连接到数据湖以及云端部署。可以将本书作为Airflow的实用指南，本书涵盖了为Airflow提供动力的有向无环图(DAG)的各方面知识，以及如何根据工作需求对其进行自定义的技术。主要内容●构建、测试及部署Airflow管道作为DAG●自动对数据进行移动和转换●使用回填技术分析历史数据集●开发自定义组件●在生产环境中搭建Airflow