大数据的核心模块有很多，像 Hadoop 、 spark 、 kafka 等都是比较重要的，但也不仅仅只是这三块。今天我们就来了解一下 Azkaban ，了解他的使用和简介，才能更好的帮助我们去学习大数据。

Azkaban 是什么？

是由 Linkedin 开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。

Azkaban 定义了一种 KV 文件 (properties) 格式来建立任务之间的依赖关系，并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。

它有如下功能特点：

Web 用户界面

方便上传工作流

认证 / 授权 ( 权限的工作 )

能够杀死并重新启动工作流

模块化和可插拔的插件机制

工作流和任务的日志记录和审计

方便设置任务之间的关系

调度工作流

项目工作区

为什么需要 Azkaban ？

一个完整的数据分析系统通常都是由大量任务单元组成

shell 脚本程序

java 程序

mapreduce 程序

hive 脚本等

各任务单元之间存在时间先后及前后依赖关系 , 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

例如，我们可能有这样一个需求，某个业务系统每天产生 20G 原始数据，我们每天都要对其进行处理，处理步骤如下所示：

通过 Hadoop 先将原始数据同步到 HDFS 上；

借助 MapReduce 计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张 Hive 表中；

需要对 Hive 中多个表的数据进行 JOIN 处理，得到一个明细数据 Hive 大表；

将明细数据进行各种统计分析，得到结果报表信息；

需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

以上就是关于 Azkaban 的解析了，如果想了解更多详情，请点击成都加米谷大数据官网吧！成都大数据培训学校、大数据开发培训、数据分析与挖掘，零基础班本月正在招生中，课程大纲及试学视频可免费获取！

ITPub博客

大数据学习—Azkaban的解析