作为数据仓库开发人员，adhoc查询、ETL任务开发、任务依赖关系配置、调度配置等，元数据管理、DQC、SLA配置和监控等都主要依赖公司或者云服务公司提供的各种平台来完成。对于个人使用来说，一整套的云服务成本太高，并且如果没有一套合适的环境，对于各种操作用起来十分不方便，在之前给大家分享大厂面试SQL的时候，我就直接在服务端进行SQL编写，用起来十分痛苦，所以准备自己重新搭建一套迷你的大数据环境，期望这个环境能够支持以下功能：

支持adhoc功能，在web页面即可进行SQL的编辑和查询;
查询引擎至少支持MR和Spark;
ETL任务能够级联的调度；
能够查看、查询元数据信息；
能够对数据质量进行监控；
能够查看数据的血缘关系（主要指ETL任务依赖关系）；
能够监控SLA；

为此，我斥巨资搞了三台2C4G的云服务器，这三台云服务器就是我们的集群的全部硬件资源了。从明天开始，我们先逐步搭建hadoop、hive、hue环境，这样我们就能够顺利进行各种SQL操作，之后再进行Spark引擎的安装。后面的各种组件暂时还没确定，主要包含ETL任务的编辑工具、任务调度工具、数据血缘管理工具、DQC工具、SLA工具等，如果你有好的开源工具推荐，欢迎留言。

ITPub博客

数据平台构建

最新文章