-
乱七八糟弹HBASE性能
客户端写数据先写入 memstore，默认为128M， 整个默认memstore大小为HEAP*0.4，现在假设你的 region heap设置为4G，那么你总共的memstore=1.6G, 我们先把问题简单化，假设每个table只有一个列簇（实际当然是可以多个)，那就是说每个region对应一个memstore, 1个表包含多个region，根据rowkey s...
-
Hbase性能测试2及预分区
hbase的线性扩展得益于多region同时工作，region越多，性能相比肯定越好，请求发到master之后，由master选取相关region server给客户端，之后就是客户端和region server直接通信，Master的工作相比少很多，负载也不会很大，这是HBASE线性扩展的根本。 但是前提是你的rowkey能随机同时随机分发到多台region server,...
-
Hbase性能测试
之前测试过HBASE的参数对性能影响，今天的测试主要针对写吞吐量，通过对比不同客户端的数量，以及插入量，来看看HBASE写的情况下，大概有多少每秒插入。测试硬件：8vcore, 32G内存 ， 8台机器， 5个nodemanager/region server ，大家可能知道每个map,reduce 默认1个 vcores，1G内存 很显然，我一共40个vcores， 所...
-
Hbase插入参数测试与对比
HBase读写性能和几个参数有密切关系，比如cache和batch会影响读， 而write buffer会影响写，另外除了参数会影响，在程序里怎么处理也极大的影响插入性能，诸如List比一条一条put性能是否要高呢？ 网上大部分言论是否正确呢？今天我会通过程序读取HBASE，然后再原封不动的写入另外一张表，对比各个参数的组合对插...
-
一次网络异常的Hadoop trouble shooting 过程
实际来说，这个案例大概是1年半之前发生的，在我上一家公司，整个集群大概60个节点， 机器配置大概是128G，24vcores，1T*4硬盘。 因为要迁移，也就是从一个机房迁移到另外一个机房。这里对Hadoop 迁移不做具体描述，当时发生一件事，就是我们新机房的HADOOP和老机房的不管从硬件，还是从软件基本是一样的，但是在测试阶段...
-
Hbase常用参数
参数列表：hbase.client.scanner.caching 通过ResultScanner获取结果的时候，默认next()方法一次一条，通过设置cache，一次可以多条，默认值100，这个值越大，需要内存越多hbase.regionserver.handler.count regionserver RPC数量hbase.regionserver.global.memstore.lowerLimit, 默认0.38 表示使用...
-
Spark读HBASE
package com.isesol.sparkimport org.apache.spark.SparkContextimport org.apache.spark.SparkConfimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.mapred.JobConfimport org.apache.hadoop.hbase.mapred.TableOutputFormatimport org.apache.hadoop.hbase.util.Bytesimport org.apach...
-
Oozie API调用Hue JOB
package com.isesol.zeppelin;import java.util.Properties;import org.apache.oozie.client.OozieClient;import org.apache.oozie.client.WorkflowJob.Status;public class oozie {public static void main(String[] args){OozieClient wc = new OozieClient("http://10.215.4.164:11000/oozie"); &n...
-
HIVE外部表到底损失多少性能
我们经常说HIVE外部表比内部表要慢，到底是为什么? 以HBASE为例，如果把HIVE作为一个HBASE客户端的查询工具，语句转义之后发到HBASE，HBASE返回数据，按理不至于慢很多，毕竟只多做了一层SQL到HBASE的语句的转义。 既然事实却是慢，那么我们就可以认为HIVE外部表不能这么理解，应该还有其他的东西在阻碍HIVE外部表的...
-
HBASE Rowkey filter
HBASE通过Rowkey可以直接定位行，速度很快，在filter中，有2个API可以过滤主键：1. RowFilter 行过滤器， 依靠行键来过滤 Scan scan = new Scan(); Filter rowfilter = new RowFilter(CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("A131420033-1007-922337...
-
Hbase compact以及split跟踪
为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？ 比如插入速度， hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。此次测试会有几轮，所以测试到哪里就写到哪里，我随便找了一张大概120W来的表，我会写一个mapreduce任务...
-
Hbase compact以及split跟踪
为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？ 比如插入速度， hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。此次测试会有几轮，所以测试到哪里就写到哪里，我随便找了一张大概120W来的表，我会写一个mapreduce任务...
-
HBASE Rowkey filter
HBASE通过Rowkey可以直接定位行，速度很快，在filter中，有2个API可以过滤主键：1. RowFilter 行过滤器， 依靠行键来过滤 Scan scan = new Scan(); Filter rowfilter = new RowFilter(CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("A131420033-1007-922337...
-
HIVE外部表到底损失多少性能
我们经常说HIVE外部表比内部表要慢，到底是为什么? 以HBASE为例，如果把HIVE作为一个HBASE客户端的查询工具，语句转义之后发到HBASE，HBASE返回数据，按理不至于慢很多，毕竟只多做了一层SQL到HBASE的语句的转义。 既然事实却是慢，那么我们就可以认为HIVE外部表不能这么理解，应该还有其他的东西在阻碍HIVE外部表的...
-
CentOS 6.4安装Hadoop-2.5.1完全分布式集群
环境介绍： 在两台装有CentOS 6.4（32位）的服务器上安装Hadoop-2.5.1分布式集群（2台机器，主要试验用）。 1．修改主机名和/etc/hosts文件 1）修改主机名（非必要） vi /etc/sysconfig/networkHOSTNAME=XXX 重启后生效。 2）/etc/hosts是ip地址和其对应主机名文件，使机器知道ip和主机名对应关...
-
Hadoop安装配置：使用cloudrea
使用cloudrea的rpm源，安装Hadoop环境为：192.168.255.132 test01.linuxjcq.com =》master192.168.255.133 test02.linuxjcq.com =》slave01192.168.255.134 test03.linuxjcq.com =》slave02 每台主机中的/etc/hosts文件有以上配置和基本的java环境设置，使用的java包为openjdk1. 安装cloudreawget http://arch...
-
CentOS 7安装Hadoop2.7完整步骤
总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。 1、环境，3台CentOS 7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Master 192.168.0.182 Slave1 192.168.0.183&...
-
大数据以及Hadoop相关概念介绍
一、大数据的基本概念1.1、什么是大数据 大数据指的就是要处理的数据是TB级别以上的数据。大数据是以TB级别起步的。在计算机当中，存放到硬盘上面的文件都会占用一定的存储空间，例如： 文件占用的存储空间代表的就是该文件的大小，在计算机当中，文件的大小可以采用...
-
Oozie API调用Hue JOB
package com.isesol.zeppelin;import java.util.Properties;import org.apache.oozie.client.OozieClient;import org.apache.oozie.client.WorkflowJob.Status;public class oozie {public static void main(String[] args){OozieClient wc = new OozieClient("http://10.215.4.164:11000/oozie"); &n...
-
Spark读HBASE
package com.isesol.sparkimport org.apache.spark.SparkContextimport org.apache.spark.SparkConfimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.mapred.JobConfimport org.apache.hadoop.hbase.mapred.TableOutputFormatimport org.apache.hadoop.hbase.util.Bytesimport org.apach...
