向量时钟算法简介
先说一下需要用到的场景。我们在写数据时候,经常希望数据不要存储在单点。如,都可以同时提供写服务,并且都存有全量数据。而不管是写哪一个都不用担心数据写乱问题。但是现实场景中往往会碰到并行同时修改。导致和数据不一致。于是乎就有人想出一些解决策略。向量时钟算是其中一种。简单易懂。但是并没有彻底解决冲突...
参加Gdevops总结
乐视他们的全局ID生成采用Snowflake,并且附加了分库分表信息.也就是说,根据全局ID,就可以知道该信息具体存在哪个数据库中.比如 userid mod 8 然后拼接在 Snow ID之前这样通过 GID的前几位,就可以知道分库信息.但是一旦数据库扩容,ID就会很麻烦.所以他们 一般mod很大的数字比如 userid mod 128 拼接 Snow ID...
Snowflake
Snowflake算法核心把时间戳,工作机器id,序列号组合在一起。除了最高位bit标记为不可用以外,其余三组bit占位均可浮动,看具体的业务需求而定。默认情况下41bit的时间戳可以支持该算法使用到2082年,10bit的工作机器id可以支持1023台机器,序列号支持1毫秒产生4095个自增序列id。public class ...
ElasticSearch模板和别名
单位现在的搜索系统,每天凌晨,都会做一个全量更新.然后数据一天之内就不会变了...以后引入准实时搜索之后,为了保险起见,我可能还会保留凌晨的全量更新.我大致会采用如下方式,创建两个索引songod_m1和songod_m2,和一个别名 songod每天凌晨,全量更新备用的索引,完成之后,切换别名.周而复始.准实时搜索的功能,通过Canal...
ElasticSearch _all和_source
ElasticSearch 有两个内部结构_all和_source_all是所有字段的大杂烩,默认情况下,每个字段的内容,都会拷贝到_all字段.这样可以忽略字段信息进行搜索,非常方便.但是这样带来了额外的存储压力和CPU处理压力.在默认情况下,开启_all和_source{ "mappings": { &...
ElasticSearch Java API
官方地址:https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/java-docs.html通过JAVA api实现对ES的增删改查. import static org.elasticsearch.common.xcontent.XContentFactory.jsonBuilder; import java.io.IOE...
canal部署使用
昨天花了一天时间,部署了canal,但是还有很多细节不明白.版本:1.0.21我发现部署之后,没有找到任何的存储文件.按说应该有中继日志这种东西,但是没有发现.后来官方群中,有大神说它是内存存储.## memory store RingBuffer size, should be Math.pow(2,n)canal.instance.memory.buffer.size = 16384## memory store Rin...
canal初探
我计划以后将单位的搜索项目,慢慢过渡到ES集群,然后实现准实时的搜索.canal可以感知数据库的变化,作为一个mysql的伪slave,我可以通过canal获取数据库变化,然后批量刷新到ES集群.canal是阿里开源的一款产品..虽然感觉国产开源不靠谱.但是没办法..洋人没做,自己又不会做.主页:https://github.com/alibaba/canal下载...
ELK尝试
安装过程不表.年初接手了搜索项目.如何使用ELK统计用户正在搜索频率最高的歌曲?如何使用ELK统计每分钟的访问量?resin accesslog 如下:192.168.216.25 - "null-user" [17/May/2016:21:13:49 +0800] "POST /search/dispatch.htm HTTP/1.1" 200 6302 "-" "Apache-HttpClient/4.2.2 (java 1.5)" "192.168.227.61:8101" -...
ElasticSearch安装Head插件
安装Head插件进入ES安装目录,进入plugin目录,执行如下命令进行下载安装.[elk@localhost~/elasticsearch-2.3.1/plugins]$../bin/plugin install mobz/elasticsearch-head-> Installing mobz/elasticsearch-head...Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...Downloading ..........
Hive统计新增,日活和留存率
用户行为触发的日志上报,已经存放在Hive的外部分区表中.结构如下:主要字段内容dt表示日期,如20160510platform表示平台,只有两个选项,苹果和安卓mid是用户机器码,类似于网卡MAC地址什么的pver是版本channel是分发渠道现在产品经理需要统计每天用户的新增,日活和留存率.其中留存率的概念是,如果用户在5月1日第...
ZooKeeper环境搭建
ZooKeeper版本:3.4.6解压缩zookeeper-3.4.6.tar.gz 创建配置文件 zookeeper-3.4.6/conf/zoo.cfg:tickTime=2000dataDir=/home/zookeeper/data/clientPort=2181initLimit=5syncLimit=2maxClientCnxns=1000server.105=192.168.1.105:2888:3888server.106=192.168.1.106:2888:3888server.108=192.168.1.108:2...
ElasticSearch创建索引
已经搭建好了IK中文分词环境.http://blog.itpub.net/29254281/viewspace-2095945/将数据库的表映射为ES索引.索引歌曲ID,歌曲名称和演唱者创建索引结构index.json:{ "mappings":{ "sod_song_ksc":{ ...
ElasticSearch安装中文分词插件IK
环境:ES版本:2.3.2IK版本:1.9.2IK中文插件地址https://github.com/medcl/elasticsearch-analysis-ik点击下载按钮,下载源码mvn clean package 编译打包将elasticsearch-analysis-ik-master/target/releases 目录下的elasticsearch-analysis-ik-1.9.2.zip 文件,拷贝到 your-es-root/plugins/ik 目录下然后...
ElasticSearch初探
初探ElasticSearch实验环境版本:2.3.2五节点:192.168.1.105192.168.1.106192.168.1.108192.168.1.109192.168.1.110解压elasticsearch-2.3.2.zip文件之后,修改配置elasticsearch.yml:cluster.name: es_clusternode.name: node_105index.refresh_interval: 10snetwork.host: 192.168.1.105discovery.zen.pin...
生成整数自增ID(集群主键生成服务)
在集群的环境中,有这种场景 需要整数自增ID,这个整数要求一直自增,并且需要保证唯一性....
搭建FastDFS分布式存储环境(使用Nginx模块)
上次搭建FastDFS使用的版本是v4.05http://blog.itpub.net/29254281/viewspace-1283539/这个版本已经比较旧了最新的版本是v5.04,由于作者重构了代码,所以安装过程还是有一些不一致.最新版本下载地址:http://sourceforge.net/projects/fastdfs/files/安装可以参考压缩包内的INSTALL文件。实验还是搭建一个FastDFS环...
搭建FastDFS分布式存储环境
FastDFS简介http://my.oschina.net/guol/blog/72844下面的实验准备搭建一个FastDFS分布式存储环境,网络拓扑如下首先,在每一台服务器上安装FastDFS[root@slaveOne FastDFS]# yum install libevent libevent-devel libevent-headers -y[root@slaveOne FastDFS]# ./make.sh [root@slaveOne FastDFS]# ./make.sh ...
FastDFS分布式存储原理简介
原理简介:http://my.oschina.net/guol/blog/72844安装配置:http://yanyaner.com/blog/2014/05/30/fastDFS-setup/