-
oozie java api
import java.io.File;import java.io.FileOutputStream;import java.io.OutputStream;import java.util.Calendar;import java.util.GregorianCalendar;import java.util.Properties;public class GenerateLookupDirs { /** &nb...
-
Hive建分区表语句
Hive分区建表语句
-
Hive和Oracle正则表达式对应表
Oracle ...
-
Hive和Oracle函数对照表
字符函数： Oracle Hive ||...
-
hadoop-集群管理（4）——关键属性
hadoop中的配置属性非常多，这里只讨论关键属性，它们分散在3个文件中：core-site.xml、hdfs-site.xml、mapred-site.xml。1. core-site.xml<configuration> <property> <name>fs.default.name</name> <value>hdfs://Route:9000</value> <final>true</final>&n...
-
hadoop-集群管理（3）——不常用参数
1. hadoop日志目录默认存放在hadoop安装目录下的logs文件夹中，也可以通过hadoop-env.sh中的HADOOP_LOG_DIR变量来修改。一般建议修改默认值，使之独立于hadoop安装目录，这样便于以后的升级。hadoop日志文件的名称格式为“hadoop-用户名-守护进程名-本地主机名.log”。例如“hadoop-tianyc-namenode-Route.log”...
-
hadoop-集群管理（2）——内存设置
1. 内存hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。如果我想单独设...
-
hadoop-集群管理（1）——配置文件
1. 配置文件列表如下：[tianyc@Route conf]$ pwd/home/tianyc/hadoop-1.0.4/conf[tianyc@Route conf]$ ll总用量 76-rw-rw-r--. 1 tianyc NEU 7457 3月 6 10:38 capacity-scheduler.xml-rw-rw-r--. 1 tianyc NEU 535 3月 6 10:38 configuration.xsl-rw-rw-r--. 1 tianyc NEU ...
-
oozie入门
oozie概述：oozie是基于hadoop的调度器，以xml的形式写调度流程，可以调度mr，pig，hive，shell，jar等等。主要的功能有Workflow： 顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个）Coordinator，定时触发workflowBundle Job，绑定多个coordinator o...
-
Mapreduces溢写
Map端溢写：每个map task都有一个内存缓冲区，存储着map的输出结果，这个内存缓冲区是有大小限制的，默认是100MB。当map task的输出结果很多时，就可能会撑爆内存，所以需要在一定条件下将缓冲区中的数据临时写入磁盘，然后重新利用这块缓冲区。这个从内存往磁盘写数据的过程被称为Spill，中文可译为溢写。当整个map tas...
-
Hadoop中自定义计数器
一、环境1、hadoop 0.20.22、操作系统Linux二、背景1、最近写MR的代码，总在想统计一些错误的数据出现的次数，发现如果都写在reduce的输出里太难看了，所以想找办法专门输出一些统计数字。2、翻看《hadoop权威指南》第8章第1节的时候发现能够自定义计数器，但都是基于0.19版本写的，好...
-
mapred.task.timeout参数
mapred-site.xml文件中： mapred.task.timeout 600000 The number of milliseconds before a task will be terminated if it neither reads an input, writes an output, nor updates its status string. ...
-
HBase二级索引方案总结
在HBase中，表格的Rowkey按照字典排序，Region按照RowKey设置split point进行shard，通过这种方式实现的全局、分布式索引，成为了其成功的最大的砝码。图1显示了HBase表格的Rowkey切分与Region的部署关系图。图1： HBase Rowkey-Region 关系图然而，随着在HBase系统上应用的驱动，人们发现Global-Rowkey-Ind...
-
HBase的两种协处理器
1.起因(Why HBase Coprocessor)HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(
-
Mapreduce源码分析分片、处理流程
InputFormat（代码以TextInputFormat为例）：FileinputFormat中有三个重要方法： 1).isSplitable 2).getSplits &...
-
Storm On YARN
Storm On YARNCategory: 下一代MapReduce(YARN) View: 10,206 Author: Dong作者:Dong | 新浪微博：西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce-nextgen/storm-on-yarn/本博客的文章集合...
-
yarn-RM-AM-NM之间的通讯
-
Fair Scheduler与Capacity Scheduler介绍
原文：http://blog.163.com/ws__fyy/blog/static/122433817201392553459928/ 1 Fair SchedulerFacebook开发的适合共享环境的调度器，支持多用户多分组管理，每个分组可以配置资源量，也可限制每个用户和每个分组中的并发运行作业数量；每个用户的作业有优先级，优先级越高分配的资源...
-
配置hadoop 使用fair scheduler调度器
配置步骤为1. 将$HADOOP_HOME/contrib/fairscheduler/hadoop-fairscheduler-0.20.2-cdh3u3.jar拷贝到$HADOOP_HOME/lib文件夹中2. 修改$HADOOP_HOME/conf/mapred-site.xml配置文件[html] view plaincopyprint?<property>  ...
-
hadoop Capacity Scheduler计算能力调度器配置
计算能力调度器介绍Capacity Scheduler支持以下特性：(1) 计算能力保证。支持多个队列，某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源，且所有提交到队列中的作业共享该队列中的资源。(2) 灵活性。空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源...
