ITPub博客

首页 > 大数据 > 数据分析 > Storm流计算之项目篇(Storm+Kafka+HBase+Highcharts+JQuery,含3个完整实际项目)

Storm流计算之项目篇(Storm+Kafka+HBase+Highcharts+JQuery,含3个完整实际项目)

原创 数据分析 作者:beifengwang 时间:2014-08-25 10:46:39 0 删除 编辑
 Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。有兴趣联系QQ704271672
1、Storm应用前景和课程大纲介绍
2、CDH5搭建之CM5安装部署
3、CDH5搭建和CM界面化集群管理
4、Hadoop、HBase、Zookeeper集群管理和角色分配
5、Kafka基础知识和集群搭建
6、Kafka基本操作和最优设置
7、Kafka Java API 简单开发测试
8、storm-kafka 详解和实战案例
9、JS图表框架HighCharts介绍
10、HBase 快速入门
11、基于HBase的Dao基类和实现类开发一
12、基于HBase的Dao基类和实现类开发二
13、【项目1-地区销售额】需求分析和架构设计
项目1主要技术点:
后台开发架构设计
前台开发架构设计
前后端数据实时交互
HighCharts图表开发
图表秒级无刷新实时展示
3D柱图、条形图、柱子图展示效果
14、【项目1-地区销售额】Spout融合Kafka Consumer及线程安全测试
15、【项目1-地区销售额】Bolt业务逻辑处理一
16、【项目1-地区销售额】优化Bolt支持重启及结果数据核查
17、【项目1-地区销售额】HighCharts图表开发一及Web端架构设计
18、【项目1-地区销售额】HTTP长链接实现实时推送
19、【项目1-地区销售额】HighCharts图表开发二及jquery运用
20、【项目1-地区销售额】Web端完善和细节优化
21、【项目1-地区销售额】项目发布及总结
22、【项目2-省份销售排行】项目需求分析和分区Trident Spout开发
项目2为完全Storm Trident开发项目,主要技术点:
采用双纵轴图表展示效果
Storm Trident开发 
采用Storm事务处理
基于Hbase的Trident State
DRPC分布式远程调用
TopN,前N排行
23、【项目2-省份销售排行】Trident 代码开发一
24、【项目2-省份销售排行】Trident 代码开发二
25、【项目2-省份销售排行】基于HBase存储的State运用
26、【项目2-省份销售排行】双纵轴HighCharts图表开发一
27、【项目2-省份销售排行】双纵轴HighCharts图表开发二
28、【项目2-省份销售排行】双纵轴HighCharts图表开发三
29、【项目2-省份销售排行】前台和图表交互开发和Top N实现
30、【项目2-省份销售排行】Top N展示优化和项目总
31-40讲为【项目3-网站User Views数】内容,该项目会继续增加难度,
展示图形为仿股票走势图的UV数实时分时走势图。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29212814/viewspace-1257136/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2013-10-15

  • 博文量
    118
  • 访问量
    264944