转型大数据及操作流程
大数据转型
关系型数据库------------> 大数据平台
数据库：MySQL/Oracle/SQLSERVER------------>HDFS/HBASE/HIVE/KUDU
日志：LOG------------>HDFS/HBASE/HIVE/KUDU
工作流程：
1、数据同步工具
SQOOP1/2 -- http://sqoop.apache.org
FLUME -- http://flume.apache.org
KAFKA -- http://kafka.apache.org
2、存储第一次落地
HADOOP(HDFS) -- http://hadoop.apache.org
HBASE -- http://hbase.apache.org
HIVE -- http://hive.apache.org
KUDU -- http://kudu.apache.org
3、代码编写 计算 作业 job
HADOOP(MR2)
HIVE(SQL)
SPARK
FLINK
4 、资源调度和作业调度
HADOOP(YARN)
5、计算结果存储
HADOOP(HDFS) -- http://hadoop.apache.org
HBASE -- http://hbase.apache.org
HIVE -- http://hive.apache.org
KUDU -- http://kudu.apache.org
Redis
ElasticSearch
MySQL
...........
6、可视化 报表
echarts
superset
saiku
...........
7、提供对外服务REST,API
8、JOB调度 调度工具
shell/python脚本
crontab
rundeck
关系型数据库------------> 大数据平台
数据库：MySQL/Oracle/SQLSERVER------------>HDFS/HBASE/HIVE/KUDU
日志：LOG------------>HDFS/HBASE/HIVE/KUDU
工作流程：
1、数据同步工具
SQOOP1/2 -- http://sqoop.apache.org
FLUME -- http://flume.apache.org
KAFKA -- http://kafka.apache.org
2、存储第一次落地
HADOOP(HDFS) -- http://hadoop.apache.org
HBASE -- http://hbase.apache.org
HIVE -- http://hive.apache.org
KUDU -- http://kudu.apache.org
3、代码编写 计算 作业 job
HADOOP(MR2)
HIVE(SQL)
SPARK
FLINK
4 、资源调度和作业调度
HADOOP(YARN)
5、计算结果存储
HADOOP(HDFS) -- http://hadoop.apache.org
HBASE -- http://hbase.apache.org
HIVE -- http://hive.apache.org
KUDU -- http://kudu.apache.org
Redis
ElasticSearch
MySQL
...........
6、可视化 报表
echarts
superset
saiku
...........
7、提供对外服务REST,API
8、JOB调度 调度工具
shell/python脚本
crontab
rundeck
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31441024/viewspace-2154422/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
