andy

很多时候不是你不行,只是你自己缺少热情。

  • 博客访问: 75294
  • 博文数量: 457
  • 用 户 组: 普通用户
  • 注册时间: 2016-08-11 14:39
  • 认证徽章:
个人简介

很多时候不是你不行,只是你自己缺少热情。

ITPUB论坛APP

ITPUB论坛APP



APP发帖 享双倍积分

文章分类
文章存档

2018年(34)

2017年(378)

2016年(45)

我的朋友
微信关注

IT168企业级官微



微信号:IT168qiye



系统架构师大会



微信号:SACC2013

发布时间:2018-02-05 16:20:37

1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统; 导出数据:从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制将导入或导出命令翻译成mapreduce程序来实.........【阅读全文】

阅读(15) | 评论(0) | 转发(0)

发布时间:2018-02-05 15:30:26

概述集群资源是非常有限的,在多用户、多任务环境下,需要有一个协调者,来保证在有限资源或业务约束下有序调度任务,YARN资源调度器就是这个协调者。YARN调度器有多种实现,自带的调度器为Capacity Scheduler和Fair Scheduler。YARN资源调度器均实现Resource Scheduler接口,是一个插拔式组件,用户可.........【阅读全文】

阅读(18) | 评论(0) | 转发(0)

发布时间:2018-02-05 11:41:38

1. 从输入到输出一个MapReducer作业经过了input,map,combine,reduce,output五个阶段,其中combine阶段并不一定发生,map输出的中间结果被分到reduce的过程成为shuffle(数据清洗)。在shuffle阶段还会发生copy(复制)和sort(排序)。在MapReduce的过程中,一个作业被分成Map和Reducer两个计算阶段.........【阅读全文】

阅读(25) | 评论(0) | 转发(0)

发布时间:2018-02-05 10:23:08

文件名称            格式                     描述hadoop-env.sh      bash脚本            记录hadoop要用的环境变量core-site.xml         hadoop 配置 xml .........【阅读全文】

阅读(23) | 评论(0) | 转发(0)

发布时间:2018-02-03 20:01:58

1、参数变更1.x 参数名                                                         2.x 参数名 mapred.tasktracker.reduce.tasks.maximum     mapreduc.........【阅读全文】

阅读(24) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册