-
编辑 删除
Hadoop-2.6.0-cdh5.7.0安装详解
下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本解压jdk压缩包 tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/java/ 12配置shhhadoop:hadoop:/ho...
-
编辑 删除
Hadoop-2.6.0-cdh5.7.0安装详解
下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本解压jdk压缩包 tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/java/ 12配置shhhadoop:hadoop:/ho...
-
编辑 删除
S3 服务(Simple Storage Service简单存储服务) 简介(与hdfs同一级)
S3 服务(Simple Storage Service简单存储服务) 简介(与hdfs同一级) 图1 spark 相关 亚马逊云存储之S3(Simple Storage Service简单存储服务)(转 )...
-
编辑 删除
Java程序性能分析工具Java VisualVM（Visual GC）
VisualVM 是一款免费的\集成了多个JDK 命令行工具的可视化工具，它能为您提供强大的分析能力，对 Java 应用程序做性能分析和调优。这些功能包括生成和分析海量数据、跟踪内存泄漏、监控垃圾回收器、执行内存和 CPU 分析，同时它还支持在 MBeans 上进行浏览和操作。在内存分析上，Java VisualVM的最大好处是可通过安装...
-
编辑 删除
JVisualVM之GC插件+错误"not supported for this jvm"+命令jstatd
插件安装tools->plugin->Available Plugin 会有值得安装的插件，如：VisualGC 插件列表：https://visualvm.dev.java.net/plugins.html注意：上面提供的端口配置有些麻烦，不如直接这样做： 要使用 VisualGC 必须在远程机上启动jstatd代理程序，否则会显示 “not supported for this jvm”...
-
编辑 删除
JVM快速调优手册v1.0
1.JVM内存组成(堆内存和非堆内存)2.堆内存的垃圾收集器3.Young、Old、Permanent分配策略4.堆内存分配的公式解析5.ParNew收集器+CMS收集器的产品案例分析(优化吞吐量)6.垃圾收集器常见参数
-
编辑 删除
JVM快速调优手册v1.0之六:JVM参数设置、分析
不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停...
-
编辑 删除
JVM快速调优手册v1.0之五:ParNew收集器+CMS收集器的产品案例分析(响应时间优先)
一.服务器: 双核,4个cores; 16G memory[root@alish2-cassandra-01 ~]# cat /proc/cpuinfo | grep "cpu cores"cpu cores : ...
-
编辑 删除
JVM快速调优手册v1.0之四:堆内存分配的CMS公式解析
一.JVM 堆内存组成 Java堆由Perm区和Heap区组成，Heap区由Old区和New区（也叫Young区）组成，New区由Eden区、From区和To区（Survivor）组成。 Eden区用于存放新生成的对象。Eden中的对象生命不会超过一次Minor GC。 Survivor Space 有两个，存放每次垃圾回收后存活的对...
-
编辑 删除
JVM快速调优手册v1.0之三:内存分配策略
JVM中的内存分配策略 内存分配策略 了解GC其中很重要一点就是了解JVM的内存分配策略：即对象在哪里分配和对象什么时候回收。 Java技术体系中所提倡的自动内存管理可以归结于两个部分：给对象分配内存以及回收分配给对象的内存。 我们都知道，Java对象分配，都是在Java堆上进行分配的，虽然存在JIT编译...
-
编辑 删除
JVM快速调优手册v1.0之二:常见的垃圾收集器
如果说收集算法是内存回收的方法论，那么垃圾收集器就是内存回收的具体实现。Java虚拟机规范中对垃圾收集器应该如何实现并没有任何规定，因此不同的厂商、不同版本的虚拟机所提供的垃圾收集器都可能会有很大差别，并且一般都会提供参数供用户根据自己的应用特点和要求组合出各个年代所使用的收集器。HotSpot...
-
编辑 删除
JVM快速调优手册v1.0之一:内存结构(堆内存和非堆内存)
图为Java虚拟机运行时的数据区:1.方法区也称"永久代” 、“非堆”， 它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB，最大值为64MB（未验证），可以通过-XX:PermSize 和 -XX:MaxPermSize 参数限制方法区的大小。运行时常量池：是方法区的一部分，Clas...
-
编辑 删除
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示?????????????YARN会管理集群中所有机器的可用计算资源. 基于这些资...
-
编辑 删除
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
