-
编辑 删除
Redis优化要点--读后总结
http://www.4wei.cn/archives/1002605http://redis.io/commands/INFOinfo命令# Memoryused_memory:11570933696used_memory_human:10.78Gused_memory_rss:11895382016used_memory_peak:12194989280used_memory_peak_human:11.36Gused_memory_lua:33792mem_fragmentation_ratio:1.03mem_allocator:jemalloc-3.2.0...
-
编辑 删除
ElasticSearch模板和别名
单位现在的搜索系统,每天凌晨,都会做一个全量更新.然后数据一天之内就不会变了...以后引入准实时搜索之后,为了保险起见,我可能还会保留凌晨的全量更新.我大致会采用如下方式,创建两个索引songod_m1和songod_m2,和一个别名 songod每天凌晨,全量更新备用的索引,完成之后,切换别名.周而复始.准实时搜索的功能,通过Canal...
-
编辑 删除
ElasticSearch _all和_source
ElasticSearch 有两个内部结构_all和_source_all是所有字段的大杂烩,默认情况下,每个字段的内容,都会拷贝到_all字段.这样可以忽略字段信息进行搜索,非常方便.但是这样带来了额外的存储压力和CPU处理压力.在默认情况下,开启_all和_source{ "mappings": { &...
-
编辑 删除
ElasticSearch Java API
官方地址:https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/java-docs.html通过JAVA api实现对ES的增删改查. import static org.elasticsearch.common.xcontent.XContentFactory.jsonBuilder; import java.io.IOE...
-
编辑 删除
canal部署使用
昨天花了一天时间,部署了canal,但是还有很多细节不明白.版本:1.0.21我发现部署之后,没有找到任何的存储文件.按说应该有中继日志这种东西,但是没有发现.后来官方群中,有大神说它是内存存储.## memory store RingBuffer size, should be Math.pow(2,n)canal.instance.memory.buffer.size = 16384## memory store Rin...
-
编辑 删除
canal初探
我计划以后将单位的搜索项目,慢慢过渡到ES集群,然后实现准实时的搜索.canal可以感知数据库的变化,作为一个mysql的伪slave,我可以通过canal获取数据库变化,然后批量刷新到ES集群.canal是阿里开源的一款产品..虽然感觉国产开源不靠谱.但是没办法..洋人没做,自己又不会做.主页:https://github.com/alibaba/canal下载...
-
编辑 删除
ELK尝试
安装过程不表.年初接手了搜索项目.如何使用ELK统计用户正在搜索频率最高的歌曲?如何使用ELK统计每分钟的访问量?resin accesslog 如下:192.168.216.25 - "null-user" [17/May/2016:21:13:49 +0800] "POST /search/dispatch.htm HTTP/1.1" 200 6302 "-" "Apache-HttpClient/4.2.2 (java 1.5)" "192.168.227.61:8101" -...
-
编辑 删除
Java try catch finally
参考:https://www.ibm.com/developerworks/cn/java/j-lo-finally/http://www.cnblogs.com/lanxuezaipiao/p/3440471.htmlfinally 语句块一定会执行吗？有两个前提条件1.try块已经得到执行2.不能出现Error.比如关停了JVMfinally块执行的时机try或者catch return的语句执行时候,但是在实际return之前,执行finally...
-
编辑 删除
iotop和pidstat
pidstat转载自:http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858874.htmlpidstat主要用于监控全部或指定进程占用系统资源的情况，如CPU，内存、设备IO、任务切换、线程等。pidstat首次运行时显示自系统启动开始的各项统计信息，之后运行pidstat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的...
-
编辑 删除
iostat命令
转载自:http://www.cnblogs.com/peida/archive/2012/12/28/2837345.htmlLinux系统中的 iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，...
-
编辑 删除
Linux vmstat命令实战详解
转载自:http://www.cnblogs.com/ggjucheng/archive/2012/01/05/2312625.htmlvmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到...
-
编辑 删除
Redis重要参数回顾
最近有点闹心.先是昨天壁挂炉管子崩了,家里发大水.小花狸还把钥匙扔厕所里了,没注意直接给冲走了..晚上,有邮件报警.才发现家里键盘还让小花狸玩坏了...这孩子.太淘气了晚上9点半,打车去单位处理.发现Redis内存使用接近上限.已经使用了10G左右.我调整了一下上限,解除了报警.但是查看top的时候,发现Redis-server cp...
-
编辑 删除
ElasticSearch安装Head插件
安装Head插件进入ES安装目录,进入plugin目录,执行如下命令进行下载安装.[elk@localhost~/elasticsearch-2.3.1/plugins]$../bin/plugin install mobz/elasticsearch-head-> Installing mobz/elasticsearch-head...Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...Downloading ..........
-
编辑 删除
Curator API使用
Curator 是操作ZooKeeper的开源客户端.类似于JDBC什么的吧.<dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-framework</artifactId> <version>2.4.2</version></dependency><dependency> ...
-
编辑 删除
Hive统计新增,日活和留存率
用户行为触发的日志上报,已经存放在Hive的外部分区表中.结构如下:主要字段内容dt表示日期,如20160510platform表示平台,只有两个选项,苹果和安卓mid是用户机器码,类似于网卡MAC地址什么的pver是版本channel是分发渠道现在产品经理需要统计每天用户的新增,日活和留存率.其中留存率的概念是,如果用户在5月1日第...
-
编辑 删除
陌陌Feed读后总结
参考:http://mp.weixin.qq.com/s?__biz=MzA5Nzc4OTA1Mw==&mid=2659597071&idx=1&sn=cd8df9f8c52dfbfb54e65adbe19fae27&scene=23&srcid=0509WNSUJdcT5Z2HpGaegBaD#rd下面是Feed系统的整体架构图:资源层主要使用Redis、MongoDB、HBase等NoSQL类型数据库。存储层是内部RPC服务，根据业务场景和存储特性，组合各种数据库...
-
编辑 删除
并发框架Disruptor译文
参考:http://ifeve.com/disruptor/http://ifeve.com/lmax/http://mp.weixin.qq.com/s?__biz=MzA5Nzc4OTA1Mw==&mid=2659597119&idx=1&sn=9ff7bc07cda876b739aeccb1871e7184&scene=23&srcid=0509OgLqj8724j6nFkHuSV86#rd
-
编辑 删除
ZooKeeper环境搭建
ZooKeeper版本:3.4.6解压缩zookeeper-3.4.6.tar.gz 创建配置文件 zookeeper-3.4.6/conf/zoo.cfg:tickTime=2000dataDir=/home/zookeeper/data/clientPort=2181initLimit=5syncLimit=2maxClientCnxns=1000server.105=192.168.1.105:2888:3888server.106=192.168.1.106:2888:3888server.108=192.168.1.108:2...
-
编辑 删除
ElasticSearch创建索引
已经搭建好了IK中文分词环境.http://blog.itpub.net/29254281/viewspace-2095945/将数据库的表映射为ES索引.索引歌曲ID,歌曲名称和演唱者创建索引结构index.json:{ "mappings":{ "sod_song_ksc":{ ...
-
编辑 删除
ElasticSearch安装中文分词插件IK
环境:ES版本:2.3.2IK版本:1.9.2IK中文插件地址https://github.com/medcl/elasticsearch-analysis-ik点击下载按钮,下载源码mvn clean package 编译打包将elasticsearch-analysis-ik-master/target/releases 目录下的elasticsearch-analysis-ik-1.9.2.zip 文件,拷贝到 your-es-root/plugins/ik 目录下然后...
