-
Hive job,抛错could only be replicated to 0 nodes instead of minReplication(=1)
场景: hive执行一条sql语句,然后map,reduce做完了,写数据over了hive> select dday.full_day, sum(quantity_ordered) from fact_order as fact inner join dim_day as dday on fact.time_key == dday.day_key and dday.full_day >= "2015-05-01" and dday.full_day <= "2015-05-02" group by dday.full_day order ...
-
Hive job,抛错java.io.FileNotFoundException:/.../container_000001(Is a directory)
场景: 跑hive job时,夯住 错误: 查看RM WebSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/hadoop/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/home/hadoop-2.7.2/tm...
-
彻底理解MapReduce shuffle过程原理
MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算模型需要Shuffle过程？我们都知道MapReduce计算模型一般包括两个重...
-
hadoop2.7.1 HA安装部署（转）
hadoop集群规划目标：创建2个NameNode，做高可用，一个NameNode挂掉，另一个能够启动；一个运行Yarn，3台DataNode，3台Zookeeper集群，做高可用。在hadoop2中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务...
-
hadoop linux inode 相关
hadoop linux inode block 起因：近期spark集群执行任务时有stage抛出异常：java.io.IOException: Failed to create local dir in /mnt/yarn/local/usercache/spark/appcache/application_1472468166282_1672/blockmgr-8e4ecd91-0dca-497a-8b6e-16bcdb89a4b2/31.at org.apache.spark.storage.DiskBlockManager.getFile(DiskBlockMa...
-
ZooKeeper无法启动记录
在一套之前5节点的ZooKeeper群集上重新搭建3节点的群集，直接修改了$ZOOKEEPER_HOME/conf 目录下的zoo.cfg文件，将如下部分：server.1=Node1.master:2888:3888server.2=Node2.secondary:2888:3888server.3=Node3.slave1:2888:3888server.4=Node4.slave2:2888:3888server.5=Node5.slave3:2888:3888改为了：server.1=N...
-
sql排序row_number()，rank()，dense_rank()的区别
1.row_number() over() 用于按顺序排序（不并列）select ds,level,row_number() over(partition by ds order by level desc) rn from table_name;2.rank() over() 用于并列排序（不按顺序、按照整体排名）select ds,level,rank() over(partition by ds order by level desc) rn from table_name;3.dense_rank() 用于...
-
hadoop2.6.2 eclipse plugin 编译安装
参考了：http://www.tuicool.com/articles/qY7F3q插件名称：hadoop2x-eclipse-plugin插件地址： https://github.com/winghc/hadoop2x-eclipse-plugin1.下载并解压hadoop2.x，下载地址 http://hadoop.apache.org/releases.html#Download （我下载的是编译好的包）2.下载并解压e...
-
hadoop异常：Map/Reduce location status updater”.
hadoop异常：An internal error occurred during: “Map/Reduce location status updater”. java.lang.NullPointerException； 原因：在new Hadoop location时配置不正确，本人正确配置： DFS master : 的端口为：/opt/hadoop-2.6.2/etc/hadoop/core-site.xml<property> <name>fs.defa...
-
CDH5.6.1 离线安装文档 for centos6.7
目录1. 系统架构 31.1. cloudera manager架构 31.2. cdh架构 32. 系统环境 43. 系统版本 54. 系统环境准备 54.1. 设置root用户密码 54.2. 设置hostname 54.3. 设置ip 54.4. 设置hosts记录 64.5. ...
-
hadoop : failed on connection exception:
[hadoop@qxy1 logs]$ hadoop fs -ls /16/09/01 15:58:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicablels: Call From qxy1/192.168.233.159 to qxy1:8020 failed on connection exception: java.net.ConnectException: Connectio...
-
Spark相对于Hadoop有哪些优势?
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速,Spark是一种与Hadoop相似的开源集群计算环境,Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
-
MapReduce优化----Shuffle过程剖析及性能优化
1. Map端当Map 开始产生输出时，它并不是简单的把数据写到磁盘，因为频繁的磁盘操作会导致性能严重下降。它的处理过程更复杂，数据首先是写到内存中的一个缓冲区，并做了一些预排序，以提升效率。每个Map 任务都有一个用来写入输出数据的循环内存缓冲区。这个缓冲区默认大小是1...
-
记录一次常见的错误:java.sql.SQLException: Got error 28 from storage engine
场景: mr或者hive job,check log 发现该错误;又或者kylin在data source sync时也会发生该错误,等等。原因分析:集群的机器的磁盘100%解决方法:(找占磁盘空间大的文件或者文件夹,rm -rf) 1. du -sh /* | sort -nr 2.&n...
-
hadoop中namenode及secondary namenode的原理
-
hadoop学习路径
推荐一些Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。一、学习路线图Hadoop家族学习路线图 开篇必读Hive学...
-
小丸子学Hadoop系列之——hbase备份与恢复
1.使用distcp冷备hbase--查看原始数据[hdpusr01@hadoop1 bin]$ hbase shellSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/hdpusr01/hbase-1.0.3/lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/home/hdpu...
-
FileNotFoundException: .../logs/userlogs/application_/container_(Is a directory)
1.场景: 跑hive job时,夯住 2.错误: 查看RM WebSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/hadoop/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/home/hadoop-2.7....
-
Hadoop多用户资源管理–Fair Scheduler介绍与配置（Yarn）
Fair Scheduler将整个Yarn的可用资源划分成多个资源池，每个资源池中可以配置最小和最大的可用资源（内存和CPU）、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。 如图所示，假设整个Yarn集群的可用资源为100vCPU，100GB内存，现在为3个业务各自规划一个资源池，另外，规划...
-
Error:map.xml could only be replicated to 0 nodes instead of minReplication (=1)
1.场景: hive执行一条sql语句,然后map,reduce做完了,写数据over了2.错误:java.lang.RuntimeException: Error caching map.xml: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/root/675fa67b-59c3-4de7-99a9-3f5be9f6685c/hive_2016-07-19_16-11-06_796_8611429774960723114-1/-mr-...
