-
编辑 删除
大数据之MySQL基础（含Linux）
百度云链接:?? http://pan.baidu.com/s/1gfaBoSr???? 密码：7v9p
-
编辑 删除
CDH5.8.2安装之Hash verification failed
一.问题 Hash verification failed 在cdh5.8.2web界面集群安装过程中,Parcelshash校验失败。 二.解决方法1(蒙蔽) 1.修改manifest.json的hash值 [root@hadoop-01 parcels]# cat CDH-5.8.2-1.cdh5.8.2.p0.3-el6.parcel.sha 227d11e344698c70e654ca6768fc017735b73ae3 ...
-
编辑 删除
HBase启动,出现 master.TableNamespaceManager: Namespace table not found
出现上述这个错误的原因是我之前已经安装了HBase。然后删除又重新安装的时候，启动hbase,其master 失败。 在这个/var/log/hbase目录的xxxx.out日志 或者 web界面查看，如下错误： 根据上面错误的我们可以很清楚的知道，在启动Hbase的时候，由于之前安装的HBase版本的数据还存在，因此重新安装的HBase会报T...
-
编辑 删除
CentOS6上Hadoop集群中服务器cpu sys态异常的定位与解决
问题现象在zabbix系统中，对Hadoop集群的历史监控数据分析时，发现在执行大Job任务时，某些服务节点的cpu sys态很高；具体以hadoop_A服务节点为例，在10:15-10:40这个时间段，cpu user态为60%，而sys态则高达35%；对于整个Hadoop集群，并不是所有的节点都会出现sys过高的问题，产生此类问题的都是部...
-
编辑 删除
携程大数据实践：高并发应用架构及推荐系统案例
本文来自携程技术中心基础业务研发部的《应用架构涅槃》系列分享。据基础业务研发部负责人李小林介绍，互联网二次革命的移动互联网时代，如何吸引用户、留住用户并深入挖掘用户价值，在激烈的竞争中脱颖而出，是各大电商的重要课题。通过各类大数据对用户进行研究，以数据驱动产品是解决这个课题的主要手段，携程的大数据...
-
编辑 删除
Flume+Hadoop+Hive的离线分析系统基本架构
最近在学习大数据的离线分析技术，所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构，实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个...
-
编辑 删除
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
编辑 删除
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示?????????????YARN会管理集群中所有机器的可用计算资源. 基于这些资...
-
编辑 删除
Hive job,抛错could only be replicated to 0 nodes instead of minReplication(=1)
场景: hive执行一条sql语句,然后map,reduce做完了,写数据over了hive> select dday.full_day, sum(quantity_ordered) from fact_order as fact inner join dim_day as dday on fact.time_key == dday.day_key and dday.full_day >= "2015-05-01" and dday.full_day <= "2015-05-02" group by dday.full_day order ...
-
编辑 删除
Hive job,抛错java.io.FileNotFoundException:/.../container_000001(Is a directory)
场景: 跑hive job时,夯住 错误: 查看RM WebSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/hadoop/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/home/hadoop-2.7.2/tm...
-
编辑 删除
Ganglia+Hadoop+Hbase监控搭建流程
Hadoop集群基本部署完成，接下来就需要有一个监控系统，能及时发现性能瓶颈，给故障排除提供有力依据。监控hadoop集群系统好用的比较少，自身感觉ambari比较好用，但不能监控已有的集群环境，挺悲催的。ganglia在网上看到原生支持Hadoop、Hbase性能监控，试用一段时间感觉还不错，监控项比较全面，配置简单，软件包在epel...
-
编辑 删除
记录一次常见的错误:java.sql.SQLException: Got error 28 from storage engine
场景: mr或者hive job,check log 发现该错误;又或者kylin在data source sync时也会发生该错误,等等。原因分析:集群的机器的磁盘100%解决方法:(找占磁盘空间大的文件或者文件夹,rm -rf) 1. du -sh /* | sort -nr 2.&n...
-
编辑 删除
FileNotFoundException: .../logs/userlogs/application_/container_(Is a directory)
1.场景: 跑hive job时,夯住 2.错误: 查看RM WebSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/hadoop/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/home/hadoop-2.7....
-
编辑 删除
Hadoop多用户资源管理–Fair Scheduler介绍与配置（Yarn）
Fair Scheduler将整个Yarn的可用资源划分成多个资源池，每个资源池中可以配置最小和最大的可用资源（内存和CPU）、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。 如图所示，假设整个Yarn集群的可用资源为100vCPU，100GB内存，现在为3个业务各自规划一个资源池，另外，规划...
-
编辑 删除
Error:map.xml could only be replicated to 0 nodes instead of minReplication (=1)
1.场景: hive执行一条sql语句,然后map,reduce做完了,写数据over了2.错误:java.lang.RuntimeException: Error caching map.xml: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/root/675fa67b-59c3-4de7-99a9-3f5be9f6685c/hive_2016-07-19_16-11-06_796_8611429774960723114-1/-mr-...
-
编辑 删除
java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond
一：任务：/datacenter/shell/user/full/bdl_social_test1.sh跑全量数据时！Namenode挂掉！二：报错日志：/var/log/hadoop-hdfs/hadoop-hdfs-namenode-yhbd01.log内容：2015-08-27 10:23:04,392 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: yhbd0...
-
编辑 删除
MapReduce1和Yarn和对比
在MRv1中，JobTracker是个重量级组件，集中了资源管理分配、作业控制两大核心功能，随着集群规模的增大，JobTracker处理各种RPC请求负载过重，这也是系统的最大瓶颈，严重制约了Hadoop集群的扩展性。相比之下，Yarn将JobTracker功能进行了拆分，拆分为全局组件ResourceManager、应用组件Applicat...
-
编辑 删除
配置Hadoop2.7.2和Hbase1.1.5支持Snappy解压压缩库
一.Hadoop支持Snappy 1.重新编译Hadoop2.7.2源代码,使其支持Snappy解压压缩库 2.查看libsnappy.so.1.2.0 [root@sht-sgmhadoopnn-01 ~]# ll $HADOOP_HOME/lib/native/ total 4880 -rw-r--r-- 1 root root 1211196 Jun 21 19:11 libhadoop.a -rw-r--r-- 1 root root 1485756 ...
-
编辑 删除
部署Hadoop2.x,出现Warn:Unable to load native-hadoop library
在安装部署的时候，遇到了问题 Unable to load native-hadoop library 原因1：64位linux使用了32位的hadoop native本地库[root@hadoop-001hadoop-2.4.1]# hadoop fs -ls /14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes wh...
-
编辑 删除
检查Hadoop是32位还是64位
1.从哪些地方可以识别hadoop是32位还是64位？2.hadoop本地库在什么位置？hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。hadoop官网本来提供的都是32位，因为我们大部分都是64位，所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。为了防止我们用错，下面我们来实际操作和观察。我们来...
