ITPub博客

首页 > 大数据 > 数据分析 > “大数据分析高级工程师”

“大数据分析高级工程师”

数据分析 作者:raynordlk 时间:2013-04-25 16:04:23 0 删除 编辑

一、培训时间及地点

2013年5月24日至5月26日(5月24日报到)北京

 

二、培训师资 

肖建清简介  计算机专业硕士  十余年IT行业经验,企业数据中心系统架构设计,性能管理与容量评估专家,主要专业特长包括基础架构云平台设计、服务器及存储虚拟化、数据库优化、性能管理、容量评估等领域。具有丰富的教学和实践经验,对IT职业培训有深刻的理解。曾参与多家大型银行系统架构设计,在高可用性高性能大容量系统领域有深入的研究,能够结合实际,在复杂的应用环境中选择适合的分析技术来降低运维风险、缩短停机时间、提高运维服务水平。多次全国巡讲。授课过程理论与实践并重,深入浅出,讲课诙谐幽默、气氛活跃,深受广大学员好评。

王宝会简介   北京航空航天大学教授。主要研究方向是分布式系统,大规模数据计算系统及关键技术等。2007年以来,作为技术总负责人参与国家863计划课题“中国国家网格软件研究与开发”,负责软件总体设计和核心技术研发。参与XtreemOS,OMII-EU/OMII-UK欧盟第六框架和英国e-Science国际合作项目。先后参与国家科技支撑项目《增强型搜索引擎研究及示范应用》、《北京市安全局物联网安全监控项目》、《2012年伦敦奥运会国家女排运动视频分析与设计》、《中国移动POC项目设计与开发》、《华为公司网络高级应用协议测试》《汽车制造工艺开发平台》、《工商系统食品在线监管》项目。在国内外期刊多次发表学术论文及学术著作。

曹凡 教授 架构专家。主要从事系统架构、高可用性及高性能规划等工作。对大型金融机构对IT的高可用性,高性能以及灾备方案有丰富经验;具备独有方案设计经验与技能。主导完成美国、加拿大、中国等行业客户的高可用性及高性能系统架构设计、性能管理与优化等方案近几十项;多年的国际团队领导经验、擅长复合型项目管理;截止目前主要服务客户包括国内主要银行、省地税局等大型企事业单位近30家。

 

三、培训对象

高级开发工程师、设计师、架构师、系统管理员、开发经理、测试经理、产品经理、项目经理等。

 

四、培训证书  

工业和信息化部人才交流中心颁发的《工业和信息化领域急需紧缺人才》大数据分析高级工程师证书。证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。

证书查询:www.ncie.gov.cn

 

五、培训费用

培训费:5000 元/人(含教材、培训费、以及学习用具等费用) 食宿统一安排,费用自理。

六、培训内容:

时间

 

课程名称

第一天上午

大数据分析导入

大数据发展历程

大数据对社会影响

大数据治理

大数据分析价值

大数据分析的生态系统环境及产业链(金融、大型企业、政府公共服务行业、零售、制造业等中小企业)

第一天下午

大数据与Hadoop

大数据分析技术分类

常用大数据分析技术比较

大数据(Big Data)和非结构化数据(NoSQL)

Hadoop的来源和动机

Hadoop概述

Hadoop分布式文件系统

上机实验

MapReduce工作原理

上机实验

Hadoop机群剖析

Hadoop生态系统

第二天

大数据分析的核心和灵魂-Hadoop

 

· 集成Hadoop到现有工作流

Ø 关系数据库管理系统

Ø 存储系统

Ø 利用Sqoop从关系型数据库系统中导入数据到Hadoop

Ø 上机实验

Ø 利用Flume导入实时数据到Hadoop

Ø 使用FuseDFS和Hoop访问HDFS

· Hadoop API深入探讨

Ø ToolRunner介绍

Ø 使用MRUnit进行测试

Ø 利用Combiners来减少中间数据

Ø 使用Configure和Close方法来进行Map/Reduce设置和关闭

Ø 编写Partitioner来优化负载平衡

Ø 上机实验

Ø 直接访问Hadoop分布式文件系统(HDFS)

Ø 使用分布式缓存(Distributed Cache)

Ø 上机实验

· 图的操作

Ø 图论简介

Ø 用Hadoop表示图

Ø 一个图算法的实现:单源最短路径

· 使用Oozie创建工作流

Ø 使用Oozie的动机

Ø Oozie工作流定义格式

Ø 上机实验

第三天上午

大数据分析架构核心技术之MapReduce

· MapReduce编程与讨论

Ø MapReduce流程

Ø MapReduce工作原理

Ø 剖析一个MapReduce程序

Ø 基本MapReduceAPI 概念

Ø 驱动代码

Ø 常见MapReduce算法

Ø API 使用Eclipse进行快速开发

Ø 上机实验

· 高级MapReduce编程

Ø 定制Writables和WritableComparables

Ø 使用SequenceFiles和Avro文件保存二进制数据

Ø 创建InputFormats和OutputFormats

Ø 如何利用其他Hadoop相关技术,包括Apache Hive, Apache Pig,Sqoop和Oozie等

Ø 满足解决实际数据分析问题的高级Hadoop API

Ø 上机实验

第三天下午

大数据分析架构核心技术之Hive和Pig

· Hive基础

· Pig基础

· 实用开发技巧

Ø 排序和搜索

Ø 索引

Ø 用Mahout进行机器学习

Ø Term Frequency – Inverse Document Frequency

Ø Word Co-Occurrence

Ø 上机实验

大数据分析案例

中国气象局大数据分析案例

中国海关大数据分析案例

贵州移动大数据分析案例

法国国家电力公司大数据分析案例

中芯国际大数据分析案例

安利中国大数据分析案例

 

 

大数据分析高级工程师”回执

 

公司名称

                                                

传真

 

公司地址

 

邮编

 

联 系 

 

电话

 

手机

 

姓   

性别

部门职务

办公电话

手机

E-mail

是否住宿

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

备注:1. 报名学员请复制此表,填写信息bstt2009@163.com 

     2. 报名截止时间:2013年5月23日,以报名回执信息为准!

联系人:顾老师   13910819455

电  话:010-62971920     传真: 010-62970993

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21640010/viewspace-1118279/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-05-13