-
编辑 删除
Kafka编程一
点击(此处)折叠或打开import java.io.IOException;import java.text.MessageFormat;import java.util.*;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;...
-
编辑 删除
CDH集成YCSB测试工具
parcel下载地址：
-
编辑 删除
乱七八糟弹HBASE性能
客户端写数据先写入 memstore，默认为128M， 整个默认memstore大小为HEAP*0.4，现在假设你的 region heap设置为4G，那么你总共的memstore=1.6G, 我们先把问题简单化，假设每个table只有一个列簇（实际当然是可以多个)，那就是说每个region对应一个memstore, 1个表包含多个region，根据rowkey s...
-
编辑 删除
Hbase性能测试2及预分区
hbase的线性扩展得益于多region同时工作，region越多，性能相比肯定越好，请求发到master之后，由master选取相关region server给客户端，之后就是客户端和region server直接通信，Master的工作相比少很多，负载也不会很大，这是HBASE线性扩展的根本。 但是前提是你的rowkey能随机同时随机分发到多台region server,...
-
编辑 删除
Hbase性能测试
之前测试过HBASE的参数对性能影响，今天的测试主要针对写吞吐量，通过对比不同客户端的数量，以及插入量，来看看HBASE写的情况下，大概有多少每秒插入。测试硬件：8vcore, 32G内存 ， 8台机器， 5个nodemanager/region server ，大家可能知道每个map,reduce 默认1个 vcores，1G内存 很显然，我一共40个vcores， 所...
-
编辑 删除
Hbase插入参数测试与对比
HBase读写性能和几个参数有密切关系，比如cache和batch会影响读， 而write buffer会影响写，另外除了参数会影响，在程序里怎么处理也极大的影响插入性能，诸如List比一条一条put性能是否要高呢？ 网上大部分言论是否正确呢？今天我会通过程序读取HBASE，然后再原封不动的写入另外一张表，对比各个参数的组合对插...
-
编辑 删除
一次网络异常的Hadoop trouble shooting 过程
实际来说，这个案例大概是1年半之前发生的，在我上一家公司，整个集群大概60个节点， 机器配置大概是128G，24vcores，1T*4硬盘。 因为要迁移，也就是从一个机房迁移到另外一个机房。这里对Hadoop 迁移不做具体描述，当时发生一件事，就是我们新机房的HADOOP和老机房的不管从硬件，还是从软件基本是一样的，但是在测试阶段...
-
编辑 删除
Hbase常用参数
参数列表：hbase.client.scanner.caching 通过ResultScanner获取结果的时候，默认next()方法一次一条，通过设置cache，一次可以多条，默认值100，这个值越大，需要内存越多hbase.regionserver.handler.count regionserver RPC数量hbase.regionserver.global.memstore.lowerLimit, 默认0.38 表示使用...
-
编辑 删除
Hbase compact以及split跟踪
为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？ 比如插入速度， hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。此次测试会有几轮，所以测试到哪里就写到哪里，我随便找了一张大概120W来的表，我会写一个mapreduce任务...
-
编辑 删除
HBASE Rowkey filter
HBASE通过Rowkey可以直接定位行，速度很快，在filter中，有2个API可以过滤主键：1. RowFilter 行过滤器， 依靠行键来过滤 Scan scan = new Scan(); Filter rowfilter = new RowFilter(CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("A131420033-1007-922337...
-
编辑 删除
HIVE外部表到底损失多少性能
我们经常说HIVE外部表比内部表要慢，到底是为什么? 以HBASE为例，如果把HIVE作为一个HBASE客户端的查询工具，语句转义之后发到HBASE，HBASE返回数据，按理不至于慢很多，毕竟只多做了一层SQL到HBASE的语句的转义。 既然事实却是慢，那么我们就可以认为HIVE外部表不能这么理解，应该还有其他的东西在阻碍HIVE外部表的...
-
编辑 删除
Oozie API调用Hue JOB
package com.isesol.zeppelin;import java.util.Properties;import org.apache.oozie.client.OozieClient;import org.apache.oozie.client.WorkflowJob.Status;public class oozie {public static void main(String[] args){OozieClient wc = new OozieClient("http://10.215.4.164:11000/oozie"); &n...
-
编辑 删除
Spark读HBASE
package com.isesol.sparkimport org.apache.spark.SparkContextimport org.apache.spark.SparkConfimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.mapred.JobConfimport org.apache.hadoop.hbase.mapred.TableOutputFormatimport org.apache.hadoop.hbase.util.Bytesimport org.apach...
-
编辑 删除
Spark写HBASE
package com.iesol.high_frequencyimport java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java...
-
编辑 删除
MapReduce读写HBASE
import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.StringTokenizer;import java.util.Vector;import org.apache.hadoop.hbase.mapreduce.TableReducer;import org.apache.hadoop.hbase.util.Bytes;import org.apache.hadoop.hbase.mapreduce.TableMapper;import ...
