-
Hbase运维手册
1. region情况 需要检查 1. region的数量（总数和每台regionserver上的region数） 2. region的大小 如果发现异常可以通过手动merge region和手动分配region来调整 从CDH前台和master前台以及regionServer的前台都可以看到region数量，如master前台： ...
-
Hbase 日常维护
<div id="blog_content" class="blog_content"><p>一，基本命令：</p><p> 建表：create 'testtable','coulmn1','coulmn2'<br /> create 'UserTrajectory','cs',{NUMREGIONS => 4, SPLITALGO => 'HexStringSplit', VERSIONS => 1, COMPRESSION => 'snapp...
-
mysql 5.6 for linux install(three types)
这篇文档是关于mysql在Linux上的三种类型的安装部署方式，若有不足与错误，请各位亲指导纠正！谢谢
-
Hbase0.94之后版本 region分裂策略
0.94版本之前 分裂的策略采用ConstantSizeRegionSplitPolicy的，在这个情况下只要将配置文件中的hbase.hregion.max.filesize设置为一个超大值则可以将自动分裂关闭。0.94版本之后 默认策略是IncreasingToUpperBoundRegionSplitPolicy，这个策略是当在一个RS中同一个表的region数量小于9时，如果storefile的最大大小...
-
Redis实现sequence功能自增id
将一定量的ID预分配在一个队列里，每次插入操作，先从队列中获取一个ID，若插入失败的话，将该ID再次添加到队列中，同时监控队列数量，当小于阀值时，自动向队列中添加元素。1 2 &n...
-
HBASE列族不能太多的真相
HRegionServer内部管理了一系列HRegion对象，每个HRegion对应了table中的一个region，HRegion中由多 个HStore组成。每个HStore对应了Table中的一个column family的存储，可以看出每个columnfamily其实就是一个集中的存储单元，因此最好将具备共同IO特性的column放在一个column family中，这样最高效。HStore存...
-
redis replication
redis 主从
-
Hbase 事务
原理：HBase采用MVCC来实现ACID，同时HBase中没有混合读写事务。简单说来，HBase的ACID就是在各个RegionServer上维护一个我称之为“严格单调递增事务号”(strictly monotonically increasing transaction numbers)的东东。当一个写事务(put,delete)开始时将获取到下一个最高事务号，HBase将这个号称为“写入号...
-
Hbase 权限控制
问题导读1.HBase的权限管理需要配置哪些配置文件？2.HBase提供的安全管控级别包括哪些？3.使用哪个命令可实现在HBase中赋值权限？4.如何收回权限？HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true，以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使...
-
mongodb数据增加和查找
mongodb数据增加和查找1.增加数据表a.方法一db.tablename.insert({"col1" : value, "col2" : value})b.方法二db.createCollection(tableName, {capped : true, size : 10000})//capped表示该集合结构不能被更改//size表示该集合空间大小为10000行,超过该行...
-
mongodb笔记一
mongodb一.下载安装二.启动服务端:进入bin目录下,mongod.exe -port 27017 -dbpath c:/mongodb以上指定了端口27017(默认端口),数据文件放在c:/mongodb三.SHELL连接:进入bin目录下,使用mongo.exe连接也可以使用http://localhost:28017/地址查看mongodb网页端信息显示四.显示所有数据库...
-
mongodb 复制和分片
mongodb 复制和分片机器：10.1.1.8副本集shard1，有3个instances。IP是10.1.1.8，端口是26016，26026，26036，其中26036是仲裁节点副本集shard2，有3个instances。IP是10.1.1.8，端口是26017，26027，26037，其中26037是仲裁节点分片是在副本集shared1和shared2上进行。配置服务器：有1个instance。IP是...
-
心好累啊心好泪 在我不该有这个年龄 却有了不该有的机智
http://www.xnnews.com.cn/ryys/yffx/20150407/1948336.htmlhttp://www.xnnews.com.cn/ryys/yffx/20150407/1948416.htmlhttp://www.xnnews.com.cn/ryys/yffx/20150407/1948332.htmlhttp://www.xnnews.com.cn/ryys/yffx/20150407/1948480.htmlhttp://www.xnnews.com.cn/ryys/yffx/20150407/1948468.htmlhttp://www.xnne...
-
Mongo数据迁移实验
说明 公司现有线上mongo环境： 1. 不同版本（2.2.0、2.2.2、2.4.8、tokumx-2.0.0） 2. 不同架构环境（单实例、带master参数的单实例，分片+副本集） 为了将现有复杂的线上环境在不影响业务正常...
-
mongodb分片balance
查看balance状态mongos> sh.getBalancerState()true通过balance锁查看balance活动如果state是2，表示balance锁已经被获取mongos> db.locks.find({"_id" : "balancer"}).pretty(){ "_id" : "balancer", "...
-
mongodb分片搭建
由于是简单搭建，采用一台虚机配置多个vip的方式。每个shard是一个复制集，每个复制集的第一个节点是arbiter节点概览route0 1.1.1.100:4000 route1 1.1.1.101:4001 conf0 1.1.1.110:4010 conf1 1.1.1.111:4011 conf2 1.1.1....
-
mongodb将备机提升为主机
方法1 只需要直接将主机的配置信息priority改成比其他节点大即可rs0:PRIMARY> var c = rs.conf()rs0:PRIMARY> c.members[0].priority = 22rs0:PRIMARY> rs.reconfig(c){ "ok" : 1 }过几秒钟，members[0]就变成主库了，原主机就变成备库了。方法2 把不想成为主库的节点暂时冻结。然后把主库降级...
-
mongodb修改oplog大小
将主库降级成备库rs.stepDown()关闭数据库db.shutdownServer()以单机模式启动mongod --port 9999 --dbpath /opt/mongo/data备份当前oplog（可选）[root@db11 mongo]# mongodump --db local --collection 'oplog.rs' --port 9999mongodump: /usr/lib64/libcrypto.so.10: no ver...
-
mongodb复制集搭建
环境主机 端口4444[root@db11 mongo]# hostnamedb11[root@db11 mongo]# pwd/opt/mongo[root@db11 mongo]# ls -ltotal 124drwxr-xr-x. 2 root root 4096 Mar 10 19:37 bindrwxr-xr-x. 3 root root 4096 Mar 12 16:27 data-rw-r--r--. 1 root root 34520 Feb 28 01:43 GNU-AGPL-3.0-rw-r-...
-
mongodb 插入数据
> db.createCollection("obj");{ "ok" : 1 }插入一个文档> db.obj.insert({... name: "obj1",... arr: [{elemName: "elem1", elemValue: 1}, {elemName: "elem2", elemValue: 2}],... subObj: {... subName: "subName1",......
