【Mongo】mongos shard 唯一索引的问题
1.已经被sharding的文档建立唯一索引mongos> db.testmongo.ensureIndex({'age':1,'name':1},{"unique":1}){ "raw" : { "sh...
【Mongo】MongoDB干货系列-Variety与Document Validation规范字段
原文地址:http://www.mongoing.com/archives/2282写在之前的话《MongoDB干货系列》将从实际应用的角度来进行MongoDB的一些列干货的分享,将覆盖调优,troubleshooting等方面,希望能对大家带来帮助。我们知道MongoDB是一个文档型数据库,scheme free 是其非常重要的特性,但是在生产中我们应该怎么如合理利用这...
【Mongo】MongoDB干货系列1-定期巡检之Mtools
监控与troubleshooting永远是任何数据库最需要关注的地方之一。任何数据库的DBA都应该对数据库情况进行定期的巡检,以清楚了解数据库的运行情况,健康状况,隐患等等。Mtools是由MongoDB Inc 官方工程师所写,设计之初是为了方便自己的工作,但是随着MongoDB用户的增加,越来越多的朋友也开始使用Mtools,也越来越感...
【Python】pymongo链接mongo
pymongo模块链接mongo1.链接单实例mongo# -*- coding:utf-8 -*-import datetimeimport pymongoimport timeclient = pymongo.MongoClient("127.0.0.1", 27017)db = client.get_database("collection")db.authenticate('collectio...
【Mongo】mongorestore恢复数据特别慢
出现restore数据特别慢的情况,这边出现的就是这种情况我也遇到过恢复数据慢或者卡住的情况,当时是在复制集环境下恢复数据,查看日志后发现是:如果Secondary节点断掉,在Primary节点上执行上面的恢复命令时,由于Arbiter的心跳机制,会导致下面的报错:2016-03-28T16:56:52.304+0800 I RE...
MongoDB更改oplog大小
新加secondary状态RECOVERING,并且提示could not find member to sync from。经研究跟oplog大小偏小有关,本文主要探究修改oplog大小的方法。
【Mongo】mongodb复制集维护小结
原文地址:https://www.cnblogs.com/zhaowenzhong/p/5667312.html一、新增副本集成员1、登录primary2、use admin >rs.add("new_node:port") 或 rs.add({"_id":4,"host":"new_node:port","priority":1,"hidden":false}) 3、use admin>rs.addArb("new_node;port") 或 rs.addArb({"_id":5...
【mongo】mongo 字段类型互转
mark一下参考:https://blog.csdn.net/laoyang360/article/details/725943441.str转long当int很长时db.teststatement.find({"ctime":{$type: 2}}).forEach( function (x) { x.ctime= NumberLong (x.ctime); db.teststatement.save(x);})...
如何在MonogoDB中查看配置的参数值
本文介绍如何在MongoDB实现mysql show variables like 'xx';?方式查看参数值
【Mongo】mongodb的用户认证
mongodb默认是不认证的,默认没有账号,只要能连接上服务就可以对数据库进行各种操作,mongodb认为安全最好的方法就是在一个可信的环境中运行它,保证之后可信的机器才能访问它,可能这些对一些要求高的环境,安全还不够mongodb提供用户认证,需要在启动时加上--auth开启认证认证前需要添加账号
【Mongo】使用killOp干掉Long Running Operation
原文地址:MongoDB提供了killOp请求,用于干掉运行时间很长的请求,killOp通常需要与currentOp组合起来使用;先根据currentOp查询到请求的opid,然后根据opid发送killOp的请求。currentOpcurrentOp会将后端Mongod上正在执行的请求都列出来,也可根据查询条件(如请求类型,请求是否正在等待锁,请求操作的DB或...
【Redis】redis迁移数据到redis-cluster
mark:http://blog.51cto.com/362475097/1890301
【Mongo】mongo聚合操作
1.mark 记个笔记db.getCollection('redefine-collection').aggregate([ { $match:{ 'stime': {'$gte':1526486400000, '$lt':1526572800000},'event_id': '0101001','event_info.action': {'$in': [1, 4,6,9,16,18,21,23,24]} } }, { $group...
【Mongo】Mongo读写分离的实现
http://www.cnblogs.com/nicolegxt/p/9c10328bfd900f1eeb8d359cd6efdfd3.html
【python】str与json类型转换
【Mongo】单节点升级为复制集再升级为分片加复制集
1.单节点配置如下[root@ip-10-1-2-32 etc]# more shard1.conf logpath=/usr/local/mongodb/logs/mongo_shard1.loglogappend=true # need logrotae scriptsfork=truejournal=trueport=27019dbpath=/usr/local/mongodb/shard1pidfilepath=...
【Maxwell】使用maxwell+kafka+python做binlog增量解析消费
1.maxwell基础参考http://seanlook.com/2018/01/13/maxwell-binlog/这里写下我的基础配置[root@ip-10-1-2-175 maxwell-1.12.0]# more config.propertieslog_level=infokafka.bootstrap.servers=localhost:9092producer=kafkahost=10.1.2.175use...
【Kafka】kafka实战
1. kafka介绍 1.1. 主要功能根据官网的介绍,ApacheKafka?是一个分布式流媒体平台,它主要有3种功能: 1:It lets you publish and subscribe to streams of records.发布和订阅消息流,这个功能类似于消息队列...
【服务】Qconf安装与基础使用
为什么我们需要做这么一件事情?QConf 的架构: QConf架构个人理解:QConf 服务端我们选择Zookeeper还因为它有如下特点:2、稳定,无单点问题关于Zookeeper集群安装见http://blog.itpub.net/29096438/viewspace-2120934/zk创建模拟数据:创建配置节点(这个后...
【Python】rq队列的使用
参考:https://segmentfault.com/a/1190000010654775