-
编辑 删除
Sqoop1 Install And Test MySQL/PostgreSQL
环境: Hadoop2.7.2(NameNode HA,ResourceManage HA)+HBASE+HIVE环境: Hadoop2.7.2(NameNode HA,ResourceManage HA)1.下载[root@sht-sgmhadoopnn-01 hadoop]# wget http://apache.01link.hk/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[root@sht-sgmhadoopnn-01 hadoop]# tar xzvf sqoo...
-
编辑 删除
Sqoop1.99.6 Install And From MySQL To Hdfs
环境: Hadoop2.7.2(NameNode HA,ResourceManage HA)1.下载[root@sht-sgmhadoopnn-01 hadoop]# wget http://apache.mirrors.tds.net/sqoop/1.99.6/sqoop-1.99.6-bin-hadoop200.tar.gz[root@sht-sgmhadoopnn-01 hadoop]# tar -zxvf sqoop-1.99.6-bin-hadoop200.tar.gz[root@sht-sgmhadoopnn-01 hado...
-
编辑 删除
Apache Kylin1.5.2.1之订单案例详细构建流程
一.Hive订单数据仓库构建1. 创建事实表并插入数据 DROP TABLE IF EXISTS default.fact_order ;create table default.fact_order (time_key string,product_key string,salesperson_key string,custom_key string,quantity_ordered bigint,order_dollars bigint,cost_dollars bigint)ROW FORMAT DELIMITED...
-
编辑 删除
FileNotFoundException: .../logs/userlogs/application_/container_(Is a directory)
1.场景: 跑hive job时,夯住 2.错误: 查看RM WebSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/hadoop/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/home/hadoop-2.7....
-
编辑 删除
Hadoop多用户资源管理–Fair Scheduler介绍与配置（Yarn）
Fair Scheduler将整个Yarn的可用资源划分成多个资源池，每个资源池中可以配置最小和最大的可用资源（内存和CPU）、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。 如图所示，假设整个Yarn集群的可用资源为100vCPU，100GB内存，现在为3个业务各自规划一个资源池，另外，规划...
-
编辑 删除
Error:map.xml could only be replicated to 0 nodes instead of minReplication (=1)
1.场景: hive执行一条sql语句,然后map,reduce做完了,写数据over了2.错误:java.lang.RuntimeException: Error caching map.xml: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/root/675fa67b-59c3-4de7-99a9-3f5be9f6685c/hive_2016-07-19_16-11-06_796_8611429774960723114-1/-mr-...
-
编辑 删除
java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond
一：任务：/datacenter/shell/user/full/bdl_social_test1.sh跑全量数据时！Namenode挂掉！二：报错日志：/var/log/hadoop-hdfs/hadoop-hdfs-namenode-yhbd01.log内容：2015-08-27 10:23:04,392 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: yhbd0...
-
编辑 删除
MapReduce1和Yarn和对比
在MRv1中，JobTracker是个重量级组件，集中了资源管理分配、作业控制两大核心功能，随着集群规模的增大，JobTracker处理各种RPC请求负载过重，这也是系统的最大瓶颈，严重制约了Hadoop集群的扩展性。相比之下，Yarn将JobTracker功能进行了拆分，拆分为全局组件ResourceManager、应用组件Applicat...
-
编辑 删除
Hadoop1.x MapReduce 程序执行的详细过程
1.Job类初始化JobClient实例，JobClient中生成JobTracker的RPC实例，这样可以保持与JobTracker的通讯，JobTracker的地址和端口等都是外部配置的，通过Configuration对象读取并且传入。 2.JobClient提交作业。 ...
-
编辑 删除
Hadoop1.x MapReduce的Slot的理解
1.首先，slot不是CPU的Core，也不是memory chip，它是一个逻辑概念，一个节点的slot的数量用来表示某个节点的资源的容量或者说是能力的大小，因而slot是 Hadoop的资源单位。 2.Hadoop利用slots来管理分配节点的资源。每个Job申请资源以slots为单位，每个节点会确定自己的计算能力以及memory确定自己包含的slots总量。当...
-
编辑 删除
ETL数据导入/导出工具 HData(支持JDBC、Hive、HDFS、HBase、Kafka等)
HData是一个异构的ETL数据导入/导出工具，致力于使用一个工具解决不同数据源（JDBC、Hive、HDFS、HBase、MongoDB、FTP、Http、CSV、Excel、Kafka等）之间数据交换的问题。HData在设计上同时参考了开源的Sqoop、DataX，却与之有不同的实现。HData采用“框架+插件”的结构，具有较好的扩展性，框架相当于数据缓冲区，插件则...
-
编辑 删除
JVM快速调优手册v1.0之六:JVM参数设置、分析
不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停...
-
编辑 删除
JVM快速调优手册v1.0之五:ParNew收集器+CMS收集器的产品案例分析(响应时间优先)
一.服务器: 双核,4个cores; 16G memory[root@alish2-cassandra-01 ~]# cat /proc/cpuinfo | grep "cpu cores"cpu cores : ...
-
编辑 删除
全网最详细Apache Kylin1.5安装(单节点)和测试案例
1.版本Hadoop2.7.2+HBase1.1.5+Hive2.0.0kylin-1.5.1Kylin1.5 (apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz) 2.Hadoop环境编译以支持Snappy解压缩库重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库3.环境准备Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)Hadoop2.7实战v1.0之HBase1.1.5...
-
编辑 删除
配置Hadoop2.7.2和Hbase1.1.5支持Snappy解压压缩库
一.Hadoop支持Snappy 1.重新编译Hadoop2.7.2源代码,使其支持Snappy解压压缩库 2.查看libsnappy.so.1.2.0 [root@sht-sgmhadoopnn-01 ~]# ll $HADOOP_HOME/lib/native/ total 4880 -rw-r--r-- 1 root root 1211196 Jun 21 19:11 libhadoop.a -rw-r--r-- 1 root root 1485756 ...
-
编辑 删除
部署Hadoop2.x,出现Warn:Unable to load native-hadoop library
在安装部署的时候，遇到了问题 Unable to load native-hadoop library 原因1：64位linux使用了32位的hadoop native本地库[root@hadoop-001hadoop-2.4.1]# hadoop fs -ls /14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes wh...
-
编辑 删除
检查Hadoop是32位还是64位
1.从哪些地方可以识别hadoop是32位还是64位？2.hadoop本地库在什么位置？hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。hadoop官网本来提供的都是32位，因为我们大部分都是64位，所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。为了防止我们用错，下面我们来实际操作和观察。我们来...
-
编辑 删除
Kylin介绍
Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系...
-
编辑 删除
重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库
1. 下载所需要的源码包 snappy-1.1.1.tar.gz、protobuf-2.5.0.tar.gz、hadoop-2.7.2-src.tar.gz [root@sht-sgmhadoopnn-01 ~]# cd /hadoop [root@sht-sgmhadoopnn-01 hadoop]# mkdir native_snappy [root@sht-sgmhadoopnn-01 hadoop]# cd native_snappy [root@sht-sgmhadoopnn-01 native_snappy]# wget http://pkgs.f...
-
编辑 删除
yum安装xxx包时出错，提示No package xxx available.
1.查看系统版本[root@hadoopnn-01 yum.repos.d]# lsb_release -aLSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarchDistributor ID: CentOSDescription: CentOS release 6.5 (Final)Release: 6.5Codename...
