ITPub博客

首页 > 大数据 > 数据分析 > 大数据storm学习之我观

大数据storm学习之我观

数据分析 作者:互联网发展 时间:2016-04-19 17:12:59 0 删除 编辑

大数据storm大家都是怎么学习的?今天小编给大家分享一下学习大数据学习经验:

一、入门

安装storm集群,运行示例工程,明白什么是流处理,明白spout,bolt;手动实现Storm客户端API,自己编写场景实现。

二、上手

了解Storm的Bolt,spout运行过程,storm等进程启动过程,可以参照JStorm加深对Storm的理解;了解Storm周边,比如Kafka等组件。

三、深入

学习coljure;阅读storm代码;深入学习其他CEP产品。

大数据storm需要掌握的技术如下:

1、storm+kafka环境搭建-1

storm+kafka环境搭建-1 ,storm0.9.1+kafka0.8.1

2、storm+kafka环境搭建-2

storm+kafka环境搭建-2,storm0.9.1+kafka0.8.1环境搭建

3、storm+kafka环境搭建-3

4、项目分析

storm实战项目-项目分析

5、kafka producer测试

6、storm整合kafka

storm整合kafka,引入storm-kafka插件

7、storm和kafka整合项目测试

8、storm 订单有效性检查

9、storm 数据修正

10、storm 数据业务入库处理-1

11、storm 数据业务入库处理-2

12、storm 数据定时存库处理

13、入库mysql并进行测试和bug修复-1

14、入库mysql并进行测试和bug修复-2

15、优化数据结构-确保数据不丢失

16、zookeeper锁机制

17、增加zookeeper锁,保证多线程同时处理数据-1

18、增加zookeeper锁,保证多线程同时处理数据-2

学习地址:http://edu.51cto.com/course/course_id-1274.html

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/30605389/viewspace-2084203/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2015-12-01

  • 博文量
    37
  • 访问量
    37349