[zt]Apache HBase Region Splitting and Merging
关于region split讲的很清晰,预拆分拆分的步骤还有相关的参数设置。非常值得推荐。
关于MemStore的刷新方式
关于MemStore的刷新方式:1、MemStore达到上限hbase.hregion.memstore.flush.size 默认是128M的时候,会触发MemStore的刷新。这个参数表示单个MemStore的大小的阈值。这个时候是不阻塞写操作的。 2、当一个Region的MemStore总量达到hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size(默认2*128M=256M)时,会阻塞这个region的写操作,并强制刷写到HFile。触发这个刷新只会发生在MemStore即将写满128M时put了一个巨大的记录的情况,这时会阻塞写操作,强制刷新成功才能继续写入。 3、一个RegionServer会有很多个Region,很多的MemStore,所以可能单个Region并没有超过阈值,但是整个RegionServer的内存已经占用非常多了,这时候还有另外两个参数控制内存的刷写:hbase.regionserver.global.memstore.u
验证HFile和HLog中序列号的关系
关于上一篇blog提到HLog中的序列号和HFile中序列号的关系,在这里做个测试验证一下结果。
关于HBase的日志文件和HFile
在HBase的根目录下面,有两个跟日志相关的目录,.logs和.oldlogs。.logs保存的是所有Regionserver上当前在写入的HLog,可以看到每个RegionServer对应一个文件,所以HLog是对应RegionServer的。
关于安装R12时,提示RW-50015:
RW-50015: Error: - HTTP Listener is not responding. The service might not have started on the port yet. Please check the service and use the retry button. 这个问题在安装app的时候,最后会出现,在网上...
cursor: pin S wait on X等待事件的处理过程
最近负责的一个10204 for Linux as4的数据库(64bit),会短暂出现大量cursor: pin S wait on X等待事件,部分操作会被挂起,最长等待时间大概4分钟,之后则会自行恢复。这个问题困扰了我一周多的时间,从现在的情况上看,我们应该是解决了这个问题。以下则是事件的回放:[@more@]7月18日,应用反映17日下午16:56分左右,出现部分接口的调用操作无返回,要求协助检查原因。要求应用提供数据进行核对,当时确认应用提供的那些需要处理的数据都是正常处理的,处理的时间与调用的时间并也无太大出入。调用方设置的超时时间是60秒,60秒后会断
通过cman连接报ora-12564拒绝连接
我给新来的同事装的客户端,tnsping是通的,但是sqlplus连提示拒绝连接,直接连的数据库可以,他要连的通过cman的cman我配了他的机器名,也重起了服务;他本地hosts也加了服务器的ip;tns的配置用ip和hostname我都...
【征文】cursor: pin S wait on X等待事件的处理过程
最近负责的一个10204 for Linux as4的数据库(64bit),会短暂出现大量cursor: pin S wait on X等待事件,部分操作会被挂起,最长等待时间大概4分钟,之后则会自行恢复。这个问题困扰了我一周多的时间,从现...
香肠荷叶饭
昨天LG一如既往的加班。我自己坐公车回家,路上顺道去某个小馆子吃饭。我最近很喜欢那里,因为窗明几净,因为舒适而且选择蛮多。我推荐给LG,但是因为他每天都在加班,所以我们还没有机会同去。这次我选择的香肠荷叶饭,找个舒服的位置慢慢吃,味道其实非常一般,但是八块钱也吃不到燕翅鲍,就不要挑了。周围的人都不认识,所以可以吃的很舒适,我本来不是个喜欢热闹的人,甚至稍稍有点喜欢独处。[@more@]但是,就是忽然的,很希望可以和LG一起吃,并且很希望马上他就可以出现。当然了,我不是小孩子了,也不在恋爱期间,所以我也就是想想
一个好消息和一个坏消息
我刚刚中了新浪论坛的持奥运门票免费看演出的活动,今天是新版川剧《武林外传》7月7日 19:30 长安大戏院不过我刚刚才知道的,今天没带奥运门票来,回去取再去貌似不太来得及。http://bbs.service.sina.com.cn/tableforum/App/view.php?bbsid=53&subid=1&tbid=6547&fid=35189惨痛阿,幸运之神30年才朝我挥下手,我居然没看见。wuwuwu.......[@more@]
关于ORACLE_OCM.MGMT_DB_LL_METRICS的错误
上周五的例行检查时发现两个数据库alert同时出现了以下的错误提示:Errors in file /home/oracle/admin/pcard1/bdump/pcard1_j002_8968.trc:ORA-12012: error on auto execute of job 68904ORA-04063: ORA-04063: package body "ORACLE_OCM.MGMT_DB_LL_METRICS" has errorsORA-06508: PL/SQL: could not find program unit being called: "ORACLE_OCM.MGMT_DB_LL_METRICS"ORA-06512: at line 1 has errors[@more@]对应用应该没有什么影响,检查收集的统计信息,也没有发现什么异常。周五选择了继续观察。但是今早发现
关于统计信息的自动收集
10g开始,周一-周五晚上10点,周六的凌晨会进行统计信息的收集,以确保执行计划的正确性。但是并不是所有的数据库都需要如此频繁的进行统计数据的收集,有时候我们可能需要修改这个job执行的频度或者执行的时间。默认的执行时间可能正好和我们的应用高峰在相同时间,会对应用有所影响。下面是修改GATHER_STATS_JOB的执行时间的大致步骤:[@more@]首先,我们可以看到这个scheduler_jobs的一些基本情况:set linesize 400col job_name for a24col program_name for a24col schedule_name for a24col schedule_type for a12col fc for 9col s
关于表压缩的测试
存放历史数据库的服务器又面临空间不足的问题了,这次我们希望通过压缩表来获得更多的空间,可以存放更多的数据总是更好的。之前压缩表我们用的很少,所以直到前不久参加合作伙伴的11gr2的推广活动时,我还以为这是11g的新特性,r2时进行了改进。至少oracle是宣称空间节省很多,性能损失很小的。既然不是11g的新特性,上午对压缩的效果进行了一些测试,不是非常的满意,可能我预期的压缩比太高了。[@more@]首先是针对一层分区的表的测试:set serveroutput onset timing onSQL> exec show_space('CHARGED_CARDS','PCARD','TABLE PARTIT
有关blockrecover的测试
很期待10g的blockrecover,可以在线的进行recover,dba的压力相对小多了。-------------------环境准备:CREATE TABLESPACE USER_DATA DATAFILE '/home1/oradata/dwtest/user_data.dbf' SIZE 100M AUTOEXTEND ON NEXT 10M MAXSIZE 800MLOGGINGONLINEPERMANENTEXTENT MANAGEMENT LOCAL UNIFORM SIZE 10MBLOCKSIZE 8KSEGMENT SPACE MANAGEMENT AUTO;CREATE TABLESPACE USER_INDEX DATAFILE '/home1/oradata/dwtest/user_index.dbf' SIZE 50M AUTOEXTEND ON NEXT 10M MAXSIZE 800MLOGGINGONLINEPERMANENTEXTENT MANAGEMENT LOCAL UNIFORM
关于修改AUTO_INCREMENT列的默认值的测试
其实是个很简单的操作,但是忽然有人问我就是想不起来,暂且做个笔记在这里。mysql> create table test2(id int(2) AUTO_INCREMENT,name varchar(10),primary key(id));Query OK, 0 rows affected (0.03 sec)mysql> insert into test2 values(null,'a'),(null,'b'),(null,'c');Query OK, 3 rows affected (0.00 sec)Records: 3 Duplicates: 0 Warnings: 0mysql> select * from test2;+----+------+| id | name |+----+------+| 1 | a | | 2 | b | | 3 | c | +----+------+3 rows in set (0.00 sec)mysql> delet
关于出书这件事
我们的第一本书已经面市将近一个月了,上周末我们组和编辑以及几个给过我们很大帮助的同事一起小小的happy了一下。整个晚上的关键性事件是得到了编辑mm的当面表扬,她指出文笔最流畅的居然是我,这么多年我可是遇见...
随笔
我们的书已经送到,而且据说销量喜人。[@more@]
这两天安装10g遇到新问题。
要说安装oracle 10g也有n多次了,从刚进公司就开始装10.1的oracle,虽然都是for redhat的,但是32/64,redhat9/as 3/as 4都装过几次,应该也算熟练工种了,这次就没怎么担心,结果遇到新问题了,疑惑我半天。安装or...
10.1.0.3数据库帐号被锁定
最近以来,比较频繁了,测试环境。相信应用是不知道怎么锁定帐号的,但是过一段时间帐号就被锁了,需要我给解锁一下,很疑惑。很久没上itpub了,那里最近还讨论过这个问题。和用户的profile有关,通常是default的...
只好稍安勿躁
过了年回来,很多事情让人无心工作,原本一成不变的日子一下子变得危机四伏,前途叵测起来。等待,已经确定的消息,只是,他还在路上。