首页 > 大数据 > 数据挖掘 > 思数云大数据技术与应用高级研修班邀请
随着云计算、物联网的发展,我们迎来了大数据的时代。为应对技术革命带来的机遇和挑战,美国把大数据提高到国家战略层面,形成了全体动员的格局。中国《“十二五”国家战略性新兴产业发展规划》提出支持海量数据存储、处理技术的研发与产业化。开源分析机构Wikibon认为:未来5年全球大数据市场拥有广阔的发展前景,复合年增长率将达到58%,其市场盈利将由2012年的50亿美元增长至2017年的500亿美元!赛迪顾问统计数据显示:2012年我国大数据市场规模仅为4.5亿元,2013年中国大数据仅IT应用市场规模就达到了34.3亿元,展现了良好的增长势头。
进入2014年,大数据市场的新产品、新技术、新服务正在不断涌现,我国大数据产业存在重大机遇也面临巨大挑战。国际上大数据产业发展的最新趋势是什么?国内大数据产业发展存在的问题与解决办法是什么?金融、信息技术、消费、教育、医疗等行业如何在大数据中挖掘价值等问题成为国内大数据产业发展关注的焦点。
针对上述问题,为推动大数据在国内外的发展,为社会提供专业的大数据高端人才,思数云培训中心聘请国内外著名大数据专家,特在北京上海等地举办“大数据技术与应用高级研修班”。希望通过此次研修,推动中国大数据高端人才的培养及建设,也希望通过研修班的学习,开阔参与人员的视野、提高大数据专业水平.
【课程安排】8月30开始连续四个周末共八天
地点:上海
|
一、Hadoop入门,了解什么是hadoop |
1、 Hadoop产生背景 2、 Hadoop在大数据、云计算中的位置和关系 3、 国内外Hadoop应用案例介绍 5、 分布式系统概述 6、 Hadoop生态圈以及各组成部分的简介 7、 Hadoop核心MapReduce例子说明 |
|
二、分布式文件系统HDFS,是数据库管理员的基础课程 |
1、 分布式文件系统DFS简介 2、 HDFS的系统组成介绍 3、 HDFS的组成部分详解 4、 副本存放策略及路由规则 5、 NameNode Federation 6、 命令行接口 7、 Java接口 8、 客户端与HDFS的数据流讲解 9、 HDFS的可用性(HA) |
|
三、初级MapReduce,成为Hadoop开发人员的基础课程 |
1、 如何理解map、reduce计算模型 2、 剖析伪分布式下MapReduce作业的执行过程 3、 Yarn模型 4、 序列化 5、 MapReduce的类型与格式 6、 MapReduce开发环境搭建 7、 MapReduce应用开发 8、 更多示例讲解,熟悉MapReduce算法原理 |
|
四、高级MapReduce,高级Hadoop开发人员的关键课程 |
1、 使用压缩分隔减少输入规模 2、 利用Combiner减少中间数据 3、 编写Partitioner优化负载均衡 4、 如何自定义排序规则 5、 如何自定义分组规则 6、 MapReduce优化 7、 编程实战 |
|
五、Hadoop集群与管理,是数据库管理员的高级课程 |
1、 Hadoop集群的搭建 2、 Hadoop集群的监控 3、 Hadoop集群的管理 4、集群下运行MapReduce程序 |
|
六、ZooKeeper基础知识,构建分布式系统的基础框架 |
1、ZooKeeper体现结构 2、ZooKeeper集群的安装 3、操作ZooKeeper |
|
七、HBase基础知识,面向列的实时分布式数据库 |
1、 HBase定义 2、 HBase与RDBMS的对比 3、 数据模型 4、 系统架构 5、HBase上的MapReduce 6、表的设计 |
|
八、HBase集群及其管理 |
1、集群的搭建过程讲解 2、集群的监控 3、集群的管理 |
|
九、HBase客户端 |
1、 HBase Shell以及演示 2、Java客户端以及代码演示 |
|
十、数据分析挖掘R语言 |
1、 R概述 2、 R语言功能 3、 R语言开发实战(各种分析挖掘功能讲解练习) |
|
十一、Hive,使用sql进行计算的hadoop框架 |
1、 数据仓库基础知识 2、 Hive定义 3、 Hive体系结构简介 4、 Hive集群 5、 客户端简介 6、 HiveQL定义 7、 HiveQL与SQL的比较 8、 数据类型 9、表与表分区概念 10、表的操作与CLI客户端演示 11、数据导入与CLI客户端演示 12、查询数据与CLI客户端演示 13、数据的连接与CLI客户端演示 14、用户自定义函数(UDF)的开发与演示 |
|
十二、Sqoop,hadoop与rdbms进行数据转换的框架 |
1、配置Sqoop 2、使用Sqoop把数据从mysql导入到HDFS中 3、使用Sqoop把数据从HDFS导出到mysql中 |
|
十三、大数据实时流式计算和内存计算 |
1、配置Storm 2、使用Storm开发 3、Spark安装和配置使用 |
|
十四、大数据实战 |
互联网大数据收集、存储、数据使用完整架构和操作 案例:互联网、电信、金融实战项目 |
注:授课内容可能会根据授课讲师实际情况作适当调整。
【授课讲师】
高老师-淘宝hadoop技术专家
淘宝高级技术专家,2005年至今专注于数据仓库、数据分析与挖掘在互联网中的应用,经历了单机数据系统演进到几千个节点 的大型分布式数据平台的变迁,主导构建了淘宝直通车等业务线的数据平台。目前负责一淘数据部-数据分析与开发团队,支持 大淘宝系的搜索、广告、无线、联盟等业务数据的分析与开发。
曾老师-资深顾问
曾为多家知名企业凡客、当当、亚马逊、京东、淘宝做个个性化推荐系统咨询,用户体验管理。陆家嘴集团、农工商集团、城投集团、三角轮胎、深圳海洋王、中控电子、城开集团、PPG、上海经理人志、秦仁居等,提供过信息化规划咨询,对电子商务系统构建,社会化电子商务,大型集团企业的IT战略规划、IT架构规划、CRM信息系统的规划与实施以及企业应用集成(EAI)等有丰富的实践经验。现在大数据驱动额产业中塔索。
金老师-大数据架构师
优酷土豆数据平台架构师
课程主题:集团化企业开放数据平台的构建之路
毕业于清华大学高性能所, 专注于海量数据处理,数据平台构建与安全研究。目前就职于优酷土豆集团担任数据平台架构师职位,主要负责优酷土豆开放数据平台架构及运营,支撑集团其他业务部门大数据存储与计算的需求。 优酷土豆数据平台已安全开放给集团13个团队,90余名hadoop工程师,日均处理数据量上百T,几乎涵盖全集团所有产品线。本次带来的课题主要介绍大数据集群如何演变成一个开放式平台,不仅要解决安全问题还需制定相应的流程与规范,分享开放平台的过去以及现在,希望对一些集团企业在如何构建开放式的大数据平台能有帮助。
联系人:耿老师
电话:13716759158 QQ:2362465857
网址:邮箱:train@bihuman.com
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/29525168/viewspace-1247617/ ,如需转载,请注明出处,否则将追究法律责任。