-
编辑 删除
iotop和pidstat
pidstat转载自:http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858874.htmlpidstat主要用于监控全部或指定进程占用系统资源的情况，如CPU，内存、设备IO、任务切换、线程等。pidstat首次运行时显示自系统启动开始的各项统计信息，之后运行pidstat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的...
-
编辑 删除
iostat命令
转载自:http://www.cnblogs.com/peida/archive/2012/12/28/2837345.htmlLinux系统中的 iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，...
-
编辑 删除
Linux vmstat命令实战详解
转载自:http://www.cnblogs.com/ggjucheng/archive/2012/01/05/2312625.htmlvmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到...
-
编辑 删除
Redis重要参数回顾
最近有点闹心.先是昨天壁挂炉管子崩了,家里发大水.小花狸还把钥匙扔厕所里了,没注意直接给冲走了..晚上,有邮件报警.才发现家里键盘还让小花狸玩坏了...这孩子.太淘气了晚上9点半,打车去单位处理.发现Redis内存使用接近上限.已经使用了10G左右.我调整了一下上限,解除了报警.但是查看top的时候,发现Redis-server cp...
-
编辑 删除
ElasticSearch安装Head插件
安装Head插件进入ES安装目录,进入plugin目录,执行如下命令进行下载安装.[elk@localhost~/elasticsearch-2.3.1/plugins]$../bin/plugin install mobz/elasticsearch-head-> Installing mobz/elasticsearch-head...Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...Downloading ..........
-
编辑 删除
Curator API使用
Curator 是操作ZooKeeper的开源客户端.类似于JDBC什么的吧.<dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-framework</artifactId> <version>2.4.2</version></dependency><dependency> ...
-
编辑 删除
Hive统计新增,日活和留存率
用户行为触发的日志上报,已经存放在Hive的外部分区表中.结构如下:主要字段内容dt表示日期,如20160510platform表示平台,只有两个选项,苹果和安卓mid是用户机器码,类似于网卡MAC地址什么的pver是版本channel是分发渠道现在产品经理需要统计每天用户的新增,日活和留存率.其中留存率的概念是,如果用户在5月1日第...
-
编辑 删除
陌陌Feed读后总结
参考:http://mp.weixin.qq.com/s?__biz=MzA5Nzc4OTA1Mw==&mid=2659597071&idx=1&sn=cd8df9f8c52dfbfb54e65adbe19fae27&scene=23&srcid=0509WNSUJdcT5Z2HpGaegBaD#rd下面是Feed系统的整体架构图:资源层主要使用Redis、MongoDB、HBase等NoSQL类型数据库。存储层是内部RPC服务，根据业务场景和存储特性，组合各种数据库...
-
编辑 删除
并发框架Disruptor译文
参考:http://ifeve.com/disruptor/http://ifeve.com/lmax/http://mp.weixin.qq.com/s?__biz=MzA5Nzc4OTA1Mw==&mid=2659597119&idx=1&sn=9ff7bc07cda876b739aeccb1871e7184&scene=23&srcid=0509OgLqj8724j6nFkHuSV86#rd
-
编辑 删除
ZooKeeper环境搭建
ZooKeeper版本:3.4.6解压缩zookeeper-3.4.6.tar.gz 创建配置文件 zookeeper-3.4.6/conf/zoo.cfg:tickTime=2000dataDir=/home/zookeeper/data/clientPort=2181initLimit=5syncLimit=2maxClientCnxns=1000server.105=192.168.1.105:2888:3888server.106=192.168.1.106:2888:3888server.108=192.168.1.108:2...
-
编辑 删除
ElasticSearch创建索引
已经搭建好了IK中文分词环境.http://blog.itpub.net/29254281/viewspace-2095945/将数据库的表映射为ES索引.索引歌曲ID,歌曲名称和演唱者创建索引结构index.json:{ "mappings":{ "sod_song_ksc":{ ...
-
编辑 删除
ElasticSearch安装中文分词插件IK
环境:ES版本:2.3.2IK版本:1.9.2IK中文插件地址https://github.com/medcl/elasticsearch-analysis-ik点击下载按钮,下载源码mvn clean package 编译打包将elasticsearch-analysis-ik-master/target/releases 目录下的elasticsearch-analysis-ik-1.9.2.zip 文件,拷贝到 your-es-root/plugins/ik 目录下然后...
-
编辑 删除
ElasticSearch初探
初探ElasticSearch实验环境版本:2.3.2五节点:192.168.1.105192.168.1.106192.168.1.108192.168.1.109192.168.1.110解压elasticsearch-2.3.2.zip文件之后,修改配置elasticsearch.yml:cluster.name: es_clusternode.name: node_105index.refresh_interval: 10snetwork.host: 192.168.1.105discovery.zen.pin...
-
编辑 删除
2016展望
人无远虑必有近忧.数据库维护工作已经进入平滑期,也就是说,平时没啥事儿了.如果说第一年凭借SQL优化拿了优秀员工,第二年凭借小花狸集中监控,集中备份,集中复制工具和揽下hadoop,Solr/Lucene搜索等工作,也算勉强获取了优秀员工称号,第三年就要好好琢磨琢磨了...我押注ELK,公司确有需要却无人牵头.窥此良机,岂能轻易放过?...
-
编辑 删除
Screen命令
操作远程服务器,最怕网络不好.有时候执行一个作业,由于网络闪断,前功尽弃.前几天发现了Linux Screen这个命令,很好很强大啊.安装yum install screen -y screen命令创建的终端,父进程不是sshd登录会话,所以sshd连接断了,并不影响screen会话.首先,创建一个Screen会话,然后进入创建的终端.[report@localhost ~]...
-
编辑 删除
percentile_approx计算方法
参考:http://blog.sina.com.cn/s/blog_72e6be570101w731.htmlpercentile(array,p)算法一般是：将数组array从小到大排序，计算(n-1)*p的整数部分为i，小数部分为j，其中n为数组大小，则percentile的值是：(1-j)*array第i+1个数+j*array第i+2个数。(10-1)*0.8=7.2那么i=7,j=0.2(1-0.2)*8+0.2*9=8.2在Oracle里面是...
-
编辑 删除
MySQL订单分库分表多维度查询
MySQL分库分表,一般只能按照一个维度进行查询.以订单表为例, 按照用户ID mod 64 分成 64个数据库.按照用户的维度查询很快,因为最终的查询落在一台服务器上.但是如果按照商户的维度查询,则代价非常高.需要查询全部64台服务器.在分页的情况下,更加恶化.比如某个商户查询第10页的数据(按照订单的创建时间).需要在每...
-
编辑 删除
赫曼米勒
入职公司2年了. 这个公司各种好,唯一的缺点就是配的椅子太差了.各种腰酸背痛. 为了老花狸自己的腰,自此开始了漫漫换椅子的路. 在赫曼米勒之前,已经自掏腰包买了四把椅子了,但还是感觉不舒服. 正好水友云远推荐赫曼米勒.这东西粗一看,加运费9300,却...
-
编辑 删除
宁战而死,不默而亡
失败了就是失败了人得学会认栽十多年努力,白费了有时候心里真的很烦当年从一个留级生,走到现在.有了家庭,有了孩子,有了体面的工作,赢得了同事的尊重.一切本来那么平稳,我以为人生的路,也就可以慢慢走下去直到终点.但是还是脱轨了我知道自怨自艾没有用.人生不能像数据库一样闪回,发生的事情,说过的话,签下的字回...
-
编辑 删除
系统调优，你所不知道的TIME_WAIT和CLOSE_WAIT
http://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=403319808&idx=1&sn=ddae082f5b844d040b9ab23c9c0eb778&scene=23&srcid=0311hhv2oaIbIdkiBjAsYXML#rd你遇到过TIME_WAIT的问题吗？我相信很多都遇到过这个问题。一旦有用户在喊：网络变慢了。第一件事情就是，netstat -a | grep TIME_WAIT | wc -l 一下...
