【Maxwell】使用maxwell+kafka+python做binlog增量解析消费
1.maxwell基础参考http://seanlook.com/2018/01/13/maxwell-binlog/这里写下我的基础配置[root@ip-10-1-2-175 maxwell-1.12.0]# more config.propertieslog_level=infokafka.bootstrap.servers=localhost:9092producer=kafkahost=10.1.2.175use...
【Kafka】kafka实战
1. kafka介绍 1.1. 主要功能根据官网的介绍,ApacheKafka?是一个分布式流媒体平台,它主要有3种功能: 1:It lets you publish and subscribe to streams of records.发布和订阅消息流,这个功能类似于消息队列...
【服务】Qconf安装与基础使用
为什么我们需要做这么一件事情?QConf 的架构: QConf架构个人理解:QConf 服务端我们选择Zookeeper还因为它有如下特点:2、稳定,无单点问题关于Zookeeper集群安装见http://blog.itpub.net/29096438/viewspace-2120934/zk创建模拟数据:创建配置节点(这个后...
【Python】rq队列的使用
参考:https://segmentfault.com/a/1190000010654775
【Mongo】shell命令行模式执行mongo命令
例子:mongo --host 172.31.36.77 --port 27017 -u admin -p 'HpyD9KAd(JDkHRY9' admin --eval "db.currentOp()"
【Mongodb】往分片复制集添加复制成员
1.新的成员机器上安装mongo,启动shard1[root@ip-10-1-2-183 etc]# more shard1.conf logpath=/usr/local/mongodb/logs/mongo_shard1.loglogappend=true # need logrotae scriptsfork=truejournal=trueport=27019#vvvvv = true#diaglog ...
【Mongodb】分片复制集环境添加新的分片
1.每个节点上分别创建新的shard3配置文件[root@ip-10-1-2-68 etc]# more shard3.conf logpath=/usr/local/mongodb/logs/mongo_shard3.loglogappend=true # need logrotae scriptsfork=truejournal=trueport=27017#vvvvv = true#diaglog ...
【Redis】基于consul的Redis高可用方案
Redis现有高可用架构sentinel遇到的问题
【Redis】 redis解析rdb文件,内存排序等
工具git地址为https://github.com/sripathikrishnan/redis-rdb-tools解析rdf文件> rdb --command json /var/redis/6379/dump.rdb[{"user003":{"fname":"Ron","sname":"Bumquist"},"lizards":["Bush anole","Jackson's chameleon","Komodo dragon","Ground agama","Bea...
【Redis】 redis-cluster删除指定的key
需要从redis-cluster中删除指定的key循环每个节点的版本:[root@ip-172-31-39-42 ~]# more delkey-single.py # encoding: utf-8import redisimport randomimport stringimport redisclusterimport timeall_nodes=['17...
【Redis】用python操作redis集群
【Redis】获取没有设置ttl的key脚本
为了遍历Redis中没有设置ttl的key,我开发了一个小脚本直接连接Redis 进行scan 遍历所有的key,然后在检查key的ttl,将没有ttl的key输出到指定的文件里面。
【Mongo】Mongodump 与 mongorestore对mongo进行备份恢复
1.mongoexport 导出Mongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项,也可以根据指定的条件导出数据。mongoexport具体用法如下所示:参数说明:-h:指明数据库宿主机的IP-u:指明数据库的用户...
【Mongo】mongo分片加复制集的备份恢复
原文地址:https://mp.weixin.qq.com/mp/getmasssendmsg?__biz=MzU4MTI5NTk0Mw==&uin=Mjg2NDcxOTA0MA%3D%3D&key=b75f8f8c7d12a05c247c64c93c404f4b4e8a5805742b176602b6bca511fde1fbed6a79405daddafb8cde90c99b17b87894f911332cd9a42a27da7bf399185d4dcb7cca0210bfe442b2c2b4748b7e280b&devicetype=iMac+MacBookPro14%2C1+O...
【Redis】redis-cluster 安装遇到的问题
https://www.cnblogs.com/huangxincheng/p/5615037.htmlhttps://www.cnblogs.com/carryping/p/7447823.html
【Mongodb】db.stats() 与 db.serverStats() 与 db.collection.stats()
1. db.stats()> db.stats(){ "db" : "rundb", "collections" : 5, 表示当前数据库所有collection总共有多少行数据。显示的数据是一个估计值  ...
【Mongo】MongoDB索引管理-索引的创建、查看、删除
创建/重建索引查看索引删除索引1. 创建/重建索引1.1 创建索引ensureIndex()语法结构keys,要建立索引的参数列表。如:{KEY:1},其中key表示字段名,1表示升序排序,也可使用使用数字-1降序。options,可选参数,表示建立索引的设置。可选值如下:backgro...
[Greenplum] 扩容segment
这两篇文章结合起来看!http://www.dbdream.com.cn/2016/03/02/greenplum%E6%95%B0%E6%8D%AE%E5%BA%93%E6%89%A9%E5%AE%B9-%E5%A2%9E%E5%8A%A0segment/https://blog.csdn.net/aabc012/article/details/45543025
【Django】组合条件的搜索功能实现
一直想着如何做组合条件的搜索!如:前端有三个输入框....输入后过滤,后台写一条语句匹配前端所有可能产生的组合。总共七种伪sql大概如下:select * from t where a=? 或select * from t where b=?或select * from t where c=?或select * fr...
【MGR】MGR-imeout on wait for view after joining group
1.MGR其中一个节点挂了,按照以下的方式恢复1.其中一台second上备份全库 /usr/local/mysql/bin/mysqldump -uroot -P3312 -S /data0/mysql/log/testdb/mysql_testdb.sock -prootroot --master-data=2 --databases TESTDB db1 db10 db11 db12 db2 db3 vodb > alldb.sql2.sql有...