-
编辑 删除
JVM快速调优手册v1.0之六:JVM参数设置、分析
不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停...
-
编辑 删除
JVM快速调优手册v1.0之五:ParNew收集器+CMS收集器的产品案例分析(响应时间优先)
一.服务器: 双核,4个cores; 16G memory[root@alish2-cassandra-01 ~]# cat /proc/cpuinfo | grep "cpu cores"cpu cores : ...
-
编辑 删除
全网最详细Apache Kylin1.5安装(单节点)和测试案例
1.版本Hadoop2.7.2+HBase1.1.5+Hive2.0.0kylin-1.5.1Kylin1.5 (apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz) 2.Hadoop环境编译以支持Snappy解压缩库重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库3.环境准备Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)Hadoop2.7实战v1.0之HBase1.1.5...
-
编辑 删除
配置Hadoop2.7.2和Hbase1.1.5支持Snappy解压压缩库
一.Hadoop支持Snappy 1.重新编译Hadoop2.7.2源代码,使其支持Snappy解压压缩库 2.查看libsnappy.so.1.2.0 [root@sht-sgmhadoopnn-01 ~]# ll $HADOOP_HOME/lib/native/ total 4880 -rw-r--r-- 1 root root 1211196 Jun 21 19:11 libhadoop.a -rw-r--r-- 1 root root 1485756 ...
-
编辑 删除
部署Hadoop2.x,出现Warn:Unable to load native-hadoop library
在安装部署的时候，遇到了问题 Unable to load native-hadoop library 原因1：64位linux使用了32位的hadoop native本地库[root@hadoop-001hadoop-2.4.1]# hadoop fs -ls /14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes wh...
-
编辑 删除
检查Hadoop是32位还是64位
1.从哪些地方可以识别hadoop是32位还是64位？2.hadoop本地库在什么位置？hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。hadoop官网本来提供的都是32位，因为我们大部分都是64位，所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。为了防止我们用错，下面我们来实际操作和观察。我们来...
-
编辑 删除
Kylin介绍
Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系...
-
编辑 删除
重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库
1. 下载所需要的源码包 snappy-1.1.1.tar.gz、protobuf-2.5.0.tar.gz、hadoop-2.7.2-src.tar.gz [root@sht-sgmhadoopnn-01 ~]# cd /hadoop [root@sht-sgmhadoopnn-01 hadoop]# mkdir native_snappy [root@sht-sgmhadoopnn-01 hadoop]# cd native_snappy [root@sht-sgmhadoopnn-01 native_snappy]# wget http://pkgs.f...
-
编辑 删除
yum安装xxx包时出错，提示No package xxx available.
1.查看系统版本[root@hadoopnn-01 yum.repos.d]# lsb_release -aLSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarchDistributor ID: CentOSDescription: CentOS release 6.5 (Final)Release: 6.5Codename...
-
编辑 删除
JVM快速调优手册v1.0之四:堆内存分配的CMS公式解析
一.JVM 堆内存组成 Java堆由Perm区和Heap区组成，Heap区由Old区和New区（也叫Young区）组成，New区由Eden区、From区和To区（Survivor）组成。 Eden区用于存放新生成的对象。Eden中的对象生命不会超过一次Minor GC。 Survivor Space 有两个，存放每次垃圾回收后存活的对...
-
编辑 删除
JVM快速调优手册v1.0之三:内存分配策略
JVM中的内存分配策略 内存分配策略 了解GC其中很重要一点就是了解JVM的内存分配策略：即对象在哪里分配和对象什么时候回收。 Java技术体系中所提倡的自动内存管理可以归结于两个部分：给对象分配内存以及回收分配给对象的内存。 我们都知道，Java对象分配，都是在Java堆上进行分配的，虽然存在JIT编译...
-
编辑 删除
线上应用故障排查之一：高memory占用
前一篇介绍了线上应用故障排查之一：高CPU占用，这篇主要分析高内存占用故障的排查。搞Java开发的，经常会碰到下面两种异常：1、java.lang.OutOfMemoryError: PermGen space2、java.lang.OutOfMemoryError: Java heap space要详细解释这两种异常，需要简单重提下Java内存模型。（友情提示：本博文章...
-
编辑 删除
Hadoop2.7实战v1.0之Hive-2.0.0的Hiveserver2服务和beeline远程调试
0.环境Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装: http://blog.itpub.net/30089851/viewspace-2082805/机器 hadoop-01:192.168.33.011.开启metastore 和 hiveserver2服务[root@sht-sgmhadoopnn-01 bin]# hive --service metastore &[1] 31092[root@hadoop-01 bin]# hive --service hiveserver2 &[root@had...
-
编辑 删除
JVM快速调优手册v1.0之二:常见的垃圾收集器
如果说收集算法是内存回收的方法论，那么垃圾收集器就是内存回收的具体实现。Java虚拟机规范中对垃圾收集器应该如何实现并没有任何规定，因此不同的厂商、不同版本的虚拟机所提供的垃圾收集器都可能会有很大差别，并且一般都会提供参数供用户根据自己的应用特点和要求组合出各个年代所使用的收集器。HotSpot...
-
编辑 删除
JVM快速调优手册v1.0之一:内存结构(堆内存和非堆内存)
图为Java虚拟机运行时的数据区:1.方法区也称"永久代” 、“非堆”， 它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB，最大值为64MB（未验证），可以通过-XX:PermSize 和 -XX:MaxPermSize 参数限制方法区的大小。运行时常量池：是方法区的一部分，Clas...
-
编辑 删除
JVM快速调优手册v1.0
1.JVM内存组成(堆内存和非堆内存)2.堆内存的垃圾收集器3.Young、Old、Permanent分配策略4.堆内存分配的公式解析5.ParNew收集器+CMS收集器的产品案例分析(优化吞吐量)6.垃圾收集器常见参数
-
编辑 删除
MapReduce1和Yarn的工作机制
Hadoop中的MapReduce的工作机制分为两种：MapReduce 1 也就是Hadoop 2.0之前的工作机制YARNMapReduce 1构成MapReduce 1最主要的其实就是jobtracker和tasktracker：jobtracker，用来协调作业的运行。它也是一个Java程序，主类是JobTracker。tasktracker，用来运行作业划分后的...
-
编辑 删除
线上应用故障排查之一：高CPU占用
以我们最近出现的一个实际故障为例，介绍怎么定位和解决这类问题。根据top命令，发现PID为28555的Java进程占用CPU高达200%，出现故障。通过ps aux | grep PID命令，可以进一步确定是tomcat进程出现了问题。但是，怎么定位到具体线程或者代码呢？首先显示线程列表:ps -mp pid -o THREAD,tid,time...
-
编辑 删除
Hadoop2.7实战v1.0之Eclipse+Hive2.0.0的JDBC案例(最详细搭建)
hive,eclipse,hiveserver2,hadoop,jdbc
-
编辑 删除
理解 JMeter 聚合报告（Aggregate Report）
Aggregate Report 是 JMeter 常用的一个 Listener，中文被翻译为“聚合报告”。今天再次有同行问到这个报告中的各项数据表示什么意思，顺便在这里公布一下，以备大家查阅。如果大家都是做Web应用的性能测试，例如只有一个登录的请求，那么在Aggregate Report中，会显示一行数据，共有10个字段，...
