mysql性能优化之table_cache
声明:在5.1.3之后的版本中改叫做table_open_cache。table_cache主要用于设置table高速缓存的数量。由于每个客户端连接都会至少访问一个表,因此此参数的值与max_connections有关。缓存机制:当某一连接访问一个表时,MySQL会检查当前已缓存表的数量。如果该表已经在缓存中打开,则会直接访问缓存中的表已加快查询速...
mysql监控脚本
监控mysql服务状态,如果未运行则通知并重启,可加入定时任务中#!/bin/bash result=`/usr/bin/mysqladmin -u root -ppassword ping`expected='mysqld is alive' if [[ "$result" != "$expected" ]]then echo "mysql Not running"...
solr修改评分机制实现排序
solr要修改打分机制怎么改?大多数回答:Similarity是个不错的方案.但是具体怎么弄很少有明确的描述,官方wiki也只是说可以自定义,具体如何做,没有例子.首先,solr4.0本身提供了多种评分方法:org.apache.solr.search.similarities.BM25SimilarityFactoryorg.apache.solr.search.similarities.DefaultSimilarityFac...
从数据库层面理解:随机 I/O & 顺序 I/O
在谈这俩概念前、先来说说 大I/O vs. 小I/O 通常、我们把 <=16KB 的I/O认为是小I/O、而 >=32KB 的I/O认为是大I/O 了解I/O的大小、影响到后期对缓存、RAID类型、LUN的一些属性的调优 当前大多数数据库使用的都...
centos6.5 unison文件双向同步搭建
部署环境:192.168.0.1 CM192.168.0.2 CX1.ssh无密码访问打通(步骤略)2.安装ocaml wget http://caml.inria.fr/pub/distrib/ocaml-3.12/ocaml-3.12.1.tar.gz &nb...
redis AOF落地策略rewrite导致阻塞问题
1.修改配置文件redis.conf中的参数no-appendfsync-on-rewrite 为 yes默认值是 no#yes : 在日志重写时,不进行命令追加操作,而只是将其放在内存缓冲区里,避免与命令的追加造成DISK IO上的冲突,当rewrite完成后再追加到AOF文件。#no : 在日志重写时,命令追加操作照常进行2.动态参...
Hbase运维手册
1. region情况 需要检查 1. region的数量(总数和每台regionserver上的region数) 2. region的大小 如果发现异常可以通过手动merge region和手动分配region来调整 从CDH前台和master前台以及regionServer的前台都可以看到region数量,如master前台: ...
Hbase 日常维护
<div id="blog_content" class="blog_content"><p>一,基本命令:</p><p> 建表:create 'testtable','coulmn1','coulmn2'<br /> create 'UserTrajectory','cs',{NUMREGIONS => 4, SPLITALGO => 'HexStringSplit', VERSIONS => 1, COMPRESSION => 'snapp...
Yarn的JVM重用功能—uber
理解一下Container:容器中封装了机器资源,如内存,CPU, 磁盘,网络等,每个任务(Task)会被分配一个容器,该任务只能在该容器中执行,并使用该容器封装的资源。一个应用程序所需的Container分为两大类,如下:(1) 运行ApplicationMaster的Container:这是由ResourceManager(向内部的资源调度器)申请和启动的,...
jsp,velocity,freemark页面引擎的比较
在java领域,表现层技术主要有三种:jsp、freemarker、velocity。jsp是大家最熟悉的技术优点:1、功能强大,可以写java代码2、支持jsp标签(jsp tag)3、支持表达式语言(el)4、官方标准,用户群广,丰富的第三方jsp标签库5、性能良好。jsp编译成class文件执行,有很好的性能表现缺点:jsp没有明显缺点,非要挑...
CDH5 Fair scheduler 配置
CDH5中配置调度器只要在CM管理界面中配置即可1、进入yarn的配置选项,选中ResourceManager Default Group标签2、找到 容量调度程序配置 选项 输入xml:点击(此处)折叠或打开<?xml version="1.0"?> <configuration><property> ...
Hbase0.94之后版本 region分裂策略
0.94版本之前 分裂的策略采用ConstantSizeRegionSplitPolicy的,在这个情况下只要将配置文件中的hbase.hregion.max.filesize设置为一个超大值则可以将自动分裂关闭。0.94版本之后 默认策略是IncreasingToUpperBoundRegionSplitPolicy,这个策略是当在一个RS中同一个表的region数量小于9时,如果storefile的最大大小...
Redis实现sequence功能自增id
将一定量的ID预分配在一个队列里,每次插入操作,先从队列中获取一个ID,若插入失败的话,将该ID再次添加到队列中,同时监控队列数量,当小于阀值时,自动向队列中添加元素。1 2 &n...
HBASE列族不能太多的真相
HRegionServer内部管理了一系列HRegion对象,每个HRegion对应了table中的一个region,HRegion中由多 个HStore组成。每个HStore对应了Table中的一个column family的存储,可以看出每个columnfamily其实就是一个集中的存储单元,因此最好将具备共同IO特性的column放在一个column family中,这样最高效。HStore存...
docker技术沙龙学习
简介:简单的说Docker是一个构建在LXC之上的,基于进程容器(Processcontainer)的轻量级VM解决方案,Docker的初衷也就是将各种应用程序和他们所依赖的运行环境打包成标准的container/image,进而发布到不同的平台上运行。从理论上来讲,各种虚拟机Image也起着类似的作用。但是Docker container和普通的虚拟机Image...
Hbase 事务
原理:HBase采用MVCC来实现ACID,同时HBase中没有混合读写事务。简单说来,HBase的ACID就是在各个RegionServer上维护一个我称之为“严格单调递增事务号”(strictly monotonically increasing transaction numbers)的东东。当一个写事务(put,delete)开始时将获取到下一个最高事务号,HBase将这个号称为“写入号...
Hbase 权限控制
问题导读1.HBase的权限管理需要配置哪些配置文件?2.HBase提供的安全管控级别包括哪些?3.使用哪个命令可实现在HBase中赋值权限?4.如何收回权限?HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true,以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使...
JVM内存分配
堆区: 1.存储的全部是对象,每个对象都包含一个与之对应的class的信息。(class的目的是得到操作指令) 2.jvm只有一个堆区(heap)被所有线程共享,堆中不存放基本类型和对象引用,只存放对象本身 栈区: 1.每个线程包含一个栈区,栈中只保存基础数据类型的对象和自定义对象的引用(不是对象),对象都存...
nginx1.6 安装上传模块 nginx_upload_module
1.下载nginx_upload_module模块:http://www.grid.net.ru/nginx/download/nginx_upload_module-2.2.0.tar.gz2.下载upload_progress_module进度模块: http://soft.beauty-soft.net/lib/nginx_uploadprogress_module-0.9.0.tar.gz3.下载davromaniak.txt补丁:http://pan.baidu.com/s/1qACoQ (nginx1.3.9以上...
搜索引擎-倒排索引基础知识
1.单词——文档矩阵 单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型,图3-1展示了其含义。图3-1的每列代表一个文档,每行代表一个单词,打对勾的位置代表包含关系。 ...