clickhouse 的运维
clickhouse 一个 很牛气的 独立于 hadoop 生态的 自管理 大数据集处理引擎。 列式数据库, 相当高效。 发现了一篇不错的好文。 贴这里 感谢原作者的分享。 ###https://www.cnblogs.com/traditional/p/15381274.html
impala 数据表在集群间迁移方案
登录到神策机器impala-shell -q "use rawdata;SHOW PARTITIONS event_ros_p2(表名);" -B -o event_ros_2_partition.txt倒出表的分区信息,最后一列是数据存放的目录18391 10 -1 1 6.08KB NOT CACHED
hbase region 合并
hbase 跑了很久了。 有些region 已经很久么有请求过来了。 摆在哪里浪费资源,于是执行合并 提上日程。 hbase(main):033:0> merge_region 'e212126c7e24efa00a942603f94858fd','2c186797ddd6e126a4cc426428
hbase region server 无法启动一例。
regionserver.HRegionServer: error telling master we are up
hbase 故障修复
HBase 常见错误修复方法eriolchan关注2017.09.14 16:54:36字数 209阅读 7,190在重启HBase Region Server后经常会使用hbase hbck 命令进行检测,有时会检测出一些错误,以下是对于一些常见的错误的处理方法。1. Found lingering reference file hdfs:...hadoop dfs -rm&
Hbase split的三种方式和split的过程
Hbase split的三种方式和split的过程原文: https://www.cnblogs.com/niurougan/p/3976519.html在Hbase中split是一个很重要的功能,Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中,这些region会被分配到一个或者多个regionServer中。在自动split策
kudu 的基本技术限制 本文来自网络. 非原创
模式设计的限制主键在创建表后,主键不能更改。您必须删除并重新创建一个表来选择一个新列作为主键。组成主键的列必须首先在模式设计时最先列出来。不能使用更新功能修改行的主键。要修改行的主键,必须删除行,并使用修改后的键重新插入,这样的修改是非原子性的。带有DOUBLE、FLOAT或BOOL类型的列不允许作为主键定义的一部分,此外主键定义的所有列都必须是不可为空的。不支持自动生成主键。组成复合主键的单元格
kafka 错误: larger than available brokers
kafka 的这个错误 很多地方会触发 : CDH 继续测试中. 今天遇到了这个比较坑. Error while executing topic command : replication factor: 2 larger kafka-topics --create --topic event_topi
impala 报错 : 无法建表 遭遇 hdfs namenode state : standby 问题
搭建了一套 cdh 侧测试环境: 刚开始并没有 启用hdfs HA 功能. 运行一段时间, 启用HA 功能后. impala 报错一些问题: 整理一下: impala 表 无法读取了 :
CDH impala for Apache HADOOP 安装编译步骤.
CDH impala + kudu 一个不错的sql 查询框架. 如果安装在 CDH 发行的hadoop 集群中,那是相当的容易. 直接CDH 安装界面点击几下就ok 了. 这个不表了. 如果投产的是 apache 发行的hadoop 版本. 那么编译过程中还是会遇到相当多的问题.&nb
azkaban 安装中的几个问题
1. 启动时候 报这个错误. 2019/12/19 INFO [ExecutorManager] [Azkaban] Initializing executors from database. 2019/12/19 ERROR [ExecutorManager]