ITPub博客

首页 > 大数据 > Hadoop > 王家林的云计算实战:Hadoop开发全程代码实战(面向软件工程师、数据库工程师、网络后台开发人员等)

王家林的云计算实战:Hadoop开发全程代码实战(面向软件工程师、数据库工程师、网络后台开发人员等)

Hadoop 作者:shaqiujlb 时间:2013-03-21 20:37:40 0 删除 编辑

一:家林的话:

全球最大超市业者 Wal-Mart在使用Hadoop;

全球最大拍卖网站 eBay在使用Hadoop;

全球最大信用卡公司 Visa在使用Hadoop;

Facebook在使用Hadoop;

Yahoo在使用Hadoop;

Google在使用Hadoop;

中国移动在使用Hadoop;

华为在使用Hadoop;

百度在使用Hadoop;

淘宝在使用Hadoop;

京东在使用Hadoop;

网易在使用Hadoop;

 

Hadoop天生就是解决大数据高并发问题的,所有的互联网厂商还等什么?

Hadoop入门级别的月薪不低于8000元,所有的工程师还等什么?

 

互联网企业云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验,传统的关系型数据库已经无法满足大数据量高并发的要求,何以解忧?Hadoop!

二:这个课程能带给您什么价值?

1, 全面掌握Hadoop的架构原理和使用场景;

2, 全程项目实战训练;

3, 彻底掌握使用Hadoop进行MapReduce程序开发;

4, 熟悉分布式计算领域的常用算法;

 

三:适合对象:

软件工程师;

数据库开发人员;

网络后台开发人员;

运维人员;

四:基础要求

了解Linux系统;

了解网络;

了解Java;

五:培训内容

 

时间

内容

备注

 

第1个主题Hadoop MapReduce

1. Hadoop JobTracker 剖析

2.Hadoop TaskTracker 剖析

3.Hadoop 任务提交流程剖析

 

2个主题: Hadoop MapReduce Streaming 编程

1. Hadoop Streaming 和 Java MapReduce Api 差异

2. 使用 MapReduce 实现数据库功能

 

第3个主题:MapReduce分布式程序

1. MapReduce流程

2.剖析一个MapReduce程序

3.基本MapReduceAPI 概念

4.驱动代码

5.Mapper

6.Reducer

7.API 使用Eclipse进行快速开发

8.新MapReduce API

 

4个主题:Hadoop 核心代码剖析

1. Hadoop Mapper 类核心代码剖析

2. Hadoop Reducer 类核心代码剖析

 

5个主题:HDFS分布式文件系统编程

1. Hadoop HDFS 剖析

2. Hadoop NameNode 剖析

3. Hadoop DataNode 剖析

4. hadoop I/O 操作

5. 使用Hadoop HDFS API对HDFS编程

 

 

时间

内容

备注

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二天

第1个主题Hadoop Mapreduce高级编程

1.ToolRunner介绍

2.使用MRUnit进行测试

3.利用Combiners来减少中间数据

4.使用Configure和Close方法来进行Map/Reduce设置和关闭

5.编写Partitioner来优化负载平衡

6.直接访问Hadoop分布式文件系统(HDFS)

7.使用分布式缓存(Distributed Cache)

2个主题:MapReduce的优化

1. map优化

2. reduce优化

3. 小文件优化

 

第3个主题:MapReduce的任务调度

1. Queue调度的使用

2. 公平调度的使用

3. 能力调度的使用

 

4个主题:MapReduce编程实战

1. Hadoop的join操作

2. Hadoop的二次排序

3. Hadoop的海量日志分析

 

5个主题:flume+hadoop日志的收集实战

1. flume介绍

2. flume核心组件讲解

3. flume自带的组件分析

4. flume二次开发实战

 

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21611838/viewspace-1120007/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-05-10