-
Hive整合HBase的优缺点介绍
Hive整合Hbase是现阶段比较成熟的一套基于HBase实现SQL引擎的方案
-
一个MapReduce 程序示例 细节决定成败(五) ：Partitioner
本篇记录了如何设置reduce task的个数，介绍了默认的partitioner :HashPartitioner.介绍了如何编写一个自定义的Partitioner,以及如何设置自定义的Partitioner 生效。一般情况要，自定义partitioner 是为了解决数据分布不均的情况，又叫数据倾斜。 而且自定义的partitioner 要保证，相同的key要发往相同的reducer。
-
spark on yarn 数据插入mysql
手动将jar包加在所有计算节点/opt/cloudera/parcels/CDH/lib/hadoop-yarn目录下spark on yarn 数据插入mysql?例：scp /opt/jar/mysql-connector-java-5.1.39.jar root@CDH23:/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/hadoop-yarn/???代码： val aa =sqlContext.read.option("mergeSchema", "true").parquet("/monitor/parquet/a7/year=2016/month=05/day=11") aa.registerTempTable("aa") val url="jdbc:mysql://ip:port/dbName" val prop = new java.util.Properties prop.setProper
-
一个MapReduce 程序示例 细节决定成败(四) ：In-Map Aggregation
为什么使用in-map aggregation, 与combine 有什么区别，什么时候使用combiner ，什么时候使用in-map 聚合？?继续研究这个例子，可以看到 代码中定义了一个map，来存放所有的字符的数量。这个map中最大的记录数也就26个，占用内存不大，那这是适用的。?假如我们统计的是单词数量，而且单词数量很多，就可能会导致map task的内存中存放不下，那这种情况就是不适用的！
-
一个MapReduce 程序示例 细节决定成败(三) ：Combiner
本篇介绍了combiner的作用
-
一个MapReduce 程序示例 细节决定成败(二) ：观察日志及 Counter
学习查看 mapreduce 运行日志。
-
一个MapReduce 程序示例 细节决定成败（一）
注意Mapper 与 Reducer 类写成内部类，一定要加static ！！！！使用TextInputFormat时，进入?map 函数中的LongWritable类型的key 代表什么？经实验确认这个key 其实是本行的首字符在整个文件中的偏移量。
-
Unix时间戳
时间戳是秒只有10位,后三位是毫秒,cast(substr(event_tm,10) as int) ,event_tm有13位，此处只取到秒，所以只取前10位
-
Flume1.6.0之Error-protobuf-This is supposed to be overridden by subclasses
Error-protobuf-This is supposed to be overridden by subclasses,flume,protobuf
-
Hadoop2.7实战v1.0之Flume1.6.0搭建(Http Source-->Memory Chanel --> Hdfs Sink)
hadoop,flume,http source,hdfs,sink
-
设计HBase数据库数据表有关的建议
本文介绍有关如何设计HBase数据库数据表
-
Hadoop2.7实战v1.0之JVM参数调优
Hadoop正式上线之前，首先要调整的是各个进程的JVM参数设置，特别是对于HDFS Namenode来说。HDFS的JVM参数配置文件: hadoop-env.sh Namenode进程的JVM配置: HADOOP_NAMENODE_OPTS Datanode进程的JVM配置: HADOOP_DATANODE_OPTS client命令行的JVM配置: HADOOP_CLIENT_OPTS对于Namenode而言, 由于元数据存...
-
sqoop安装配置
sqoop安装配置sqoop是一个把关系型数据库数据抽向hadoop的工具。同时，也支持将hive、pig等查询的结果导入关系型数据库中存储。由于，笔者部署的hadoop版本是2.2.0，所以sqoop的版本是：sqoop-1.99.6-bin-hadoop200.tar.gz1.下载sqoop http://www.apache.org/dyn/closer.lua/sqoop/2.解压sqoop安装文件&nbs...
-
hbase安装配置
1. hbase配置 下载：hbase-1.2.1-bin.tar.gz: http://hbase.apache.org/[root@node0 ~]#tar xvfz hbase-1.2.1-bin.tar.gz -C /usr/local改名字：[root@node0 ~]# mv /usr/local/hbase-1.2.1 /usr/local/hbase[root@node0 ~]# ln -s /usr/local/ hbase-1.2.1-bin /hbase2. &...
-
Hive四种数据导入方式
Hive四种数据导入方式文档参考：http://blog.csdn.net/lifuxiangcaohui/article/details/40588929Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表； （2）、从HDFS上导入数据到Hive表； （3）、从别的表中查询出相应的数据并导入到Hive表中； （4）、在创建表的时候通过从...
-
hive 中默认的用控制符作为分隔符的使用总结
http://blog.csdn.net/xiao_jun_0820/article/details/37649713hive 默认的字段分隔符为ascii码的控制符\001,建表的时候用fields terminated by '\001',如果要测试的话，造数据在vi 打开文件里面，用ctrl+v然后再ctrl+a可以输入这个控制符\001。按顺序，\002的输入方式为ctrl+v,ctrl+b。以此类推。控制符在Java...
-
Hadoop作业调度机制
前几天身份证竟然过期了，为了“重新做人”晚上就得飞奔回大山东补办良民证，希望朝廷手下留情，不要把我抓起来，因为我要以黑户的身份爬火车了。。。回归正题：话说hadoop是处理大数据的，一堆煤炭被分成N量车来拉，那这些车是怎么分配的呢？如果是两队煤炭同事需要拉又该怎么分配这些车呢？这就是作业调度的问...
-
centos单机安装Hadoop2.6.4
centos单机安装Hadoop2.6.4转载：http://blog.csdn.net/woshisunxiangfu/article/details/44026207集群安装：http://blog.csdn.net/linghe301/article/details/91844531.文件下载jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.htmlhadoop 下载地址：http://www-eu.a...
-
Hadoop基本操作命令
http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/hadoop/hadoop-2.6.4启动与关闭启动HADOOP1. 进入HADOOP_...
-
hadoop认证须知和报名流程
2015年3月之前hadoop的考试直接在vue上考就可以，不需要培训记录。之后改变了打法，向oracle的wdp途径学习了，也是授权给几家机构让他们做培训，同时考试的话首先的向原厂报名，报名的时候大家可以收到原厂让下载教材的邮件通知，这样一来费用就高出很多，现在实地培训4天之后考试价格应该在13000左右，直接考试拿证或者参...
