-
编辑 删除
HBase Region 自动拆分策略
HBase Region 自动拆分策略原文链接： https://cloud.tencent.com/developer/article/13745922018-12-19阅读 1.7K0HBase-2.x支持7种Region自动拆分Region的策略，类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略，其他6种在HBase-1.
-
编辑 删除
KUDU 1.7.0-CDH5.15.1-0 版本中 客户端kudu 命令缺少rebalance 子命令.
没错. kudu 从 1.4.0 以后版本就在 kudu cluster 命令下面增加一个子命令. 支持 rebalance 了. 从 CDH 5.13.1 以后. CDH 的parcel 包中已经包含了kudu 的安装包了. 不需要自己安装rpm 了. 但是 在 CDH 5.15.1 中安装的kudu 的客户
-
编辑 删除
Hbase master gone 系统崩溃. 遭遇 hbase bug 以及对应的解决方案.
Hbase master gone 系统崩溃. 遭遇 hbase bug 以及对应的解决方案.
-
编辑 删除
cloudera 5 的安装测试步骤
Clouder Hadoop 集群安装步骤。 提示： 本来是写到 文档里的。 然后 就粘贴到这里， 结果好像是 屏幕截图， 无法自动上来。 我也懒得再搞图片上来了。就这样吧。 只要前面的几个步骤 系统设置。 处理好。 一般过程不会出问题的。&nb
-
编辑 删除
hbase 故障的处理方案。 （转载文章）
出处： https://cloud.tencent.com/developer/article/1030070导语：近期腾讯云的一家大客户频繁出现HBase regionserver 挂掉，影响业务正常使用。通过调整堆栈大小、gc优化、超时时间等都无法解决该问题。经过细致并综合分析hbase regionserver、hbase master以及 zookeeper的日志，发现了问题所在：tick
-
编辑 删除
hbase 的几个修复方法.
一下方法 转载于: http://blog.sina.com.cn/s/blog_7b87efa50102wboj.html感恩 源博主 分享知识. meta表修复一查看hbasemeta情况 1.重新修复hbase meta表（根据hdfs上的regioninfo文件，生成meta表） 2.重新将hbase meta表分给regionserver（根据meta表，将meta表上的region分给reg...
-
编辑 删除
ganglia 监控hadoop 集群的配置文件问题的一个说明.
ganglia 是监控的hadoop 集群 的最佳系统. 安装步骤就不写了. 比较简单. 主要说下安装过程, hadoop 的metrics 的配置问题. hadoop-metrics2.properties 如果采用默认配置, 一般情况下, 你会苦不堪言. 主要问题是 默认的把所有的metrics 监控...
-
编辑 删除
spark on yarn 的资源调度器设置.
最近一段时间 发现了一个问题. 就是即便在整个集群 不忙的时候, 也会某几个节点, 会被spark on yarn 的任务跑满. 而不是把任务均匀的分配到到多几个节点上. 百思不解. 于是开始各个方面的调查. 从spark 方面没有发现什么问题. 回过头来看yarn . 发现...
-
编辑 删除
hadoop 日志级别的调制方法.
hadoop 的日志 是log4j 负责的. 但是看文档之后发现, log4j 的配置是会被覆盖掉的. 那么就要去哪里覆盖的. 找到了几个地方. hadoop-env.sh 里有关于日志级别的配置. 把info 级别改为WARN 级别. 然后hadoop-daemon.sh 里也...
-
编辑 删除
hadoop 集群 跨 版本数据迁移
忙着做hadoop 1.x 到 2.x 的数据迁移. hadoop 系统提供 了一个 命令 distcp 可以跨版本 迁移数据. 具体的命令格式: 在新的hadoop 版本上执行 . 两个集群间的所有的主机hosts 文件里要把对方的集群节点的主机名配置上去. 因为是mapreduce 作业,不然会job 失败. 在 ...
-
编辑 删除
hadoop 2.0 hdfs HA 搭建
屋漏偏逢连夜雨. 忙的不可开交的关键时刻, 机房ups 罢工了, 而且还是很实在的烧了. 满机房的烟雾. 我的可怜的两套hadoop 大部分节点都掉电崩溃了. 紧急忙碌一番起来了. hadoop 1.x 启动各个服务都没有问题 顺利上线. hadoop 2.0 的坏掉了一个...
-
编辑 删除
hadoop 2.7.1 jdk 1.7 时区问题以及解决方案.
安装搭建hadoop 2.7.1 不在支持jdk 1.6 了, 采用了jdk1.7.0_45 .在系统搭建后后出现一个奇怪的现象. hadoop 日志, hhbase 等这些java 应用的日志无一例外的都采用了UTC 时间,而不是东8区.[code]2015-11-03 06:24:16,129 INFO [master/hado...
-
编辑 删除
hbase 的基本结构
HBASE 基本结构一。overview1. hbase <=> NOSQL 不错，hbase 就是某种类型的nosql 数据库，唯一的区别就是他支持海量的数据。 hbase的基本功能： 1...
-
编辑 删除
MapReduce 初解。
开始接手 公司的hadoop 集群了，需要了解下这个东西，以前接触过一段时间，以后要来真的啦。 本文对应于： http://hadoop.apache.org/docs/r1.0.4/mapred_tutorial.htmlMapreduce 是一个软件开发框架，能够帮...
