【Python】备份itpub博客
针对新版itpub系统做的备份博客脚本
【Python】钉钉webhook发送通知
代码:[root@ip-172-31-46-25 ~]# more tmp.py #!/usr/bin/python#coding=utf-8import urllibimport urllib2import jsonimport sysimport socketreload(sys)sys.setdefaultencoding('utf8')...
【Hadoop】pyhton链接hive
使用最好的模块pip install saslpip install thriftpip install thrift-saslpip install PyHive[root@ip-172-31-40-242 ~]# more testpyhive.py from pyhive import hiveconn = hive.Connection(host='xxxxxxx', port=10000, database='col...
【Hadoop】Hive将txt、csv等文本文件导入hive表
原文地址:https://blog.csdn.net/A632189007/article/details/76077648
【Mongo】mongos shard 唯一索引的问题
1.已经被sharding的文档建立唯一索引mongos> db.testmongo.ensureIndex({'age':1,'name':1},{"unique":1}){ "raw" : { "sh...
【Mongo】MongoDB干货系列-Variety与Document Validation规范字段
原文地址:http://www.mongoing.com/archives/2282写在之前的话《MongoDB干货系列》将从实际应用的角度来进行MongoDB的一些列干货的分享,将覆盖调优,troubleshooting等方面,希望能对大家带来帮助。我们知道MongoDB是一个文档型数据库,scheme free 是其非常重要的特性,但是在生产中我们应该怎么如合理利用这...
【Mongo】MongoDB干货系列1-定期巡检之Mtools
监控与troubleshooting永远是任何数据库最需要关注的地方之一。任何数据库的DBA都应该对数据库情况进行定期的巡检,以清楚了解数据库的运行情况,健康状况,隐患等等。Mtools是由MongoDB Inc 官方工程师所写,设计之初是为了方便自己的工作,但是随着MongoDB用户的增加,越来越多的朋友也开始使用Mtools,也越来越感...
【Python】pymongo链接mongo
pymongo模块链接mongo1.链接单实例mongo# -*- coding:utf-8 -*-import datetimeimport pymongoimport timeclient = pymongo.MongoClient("127.0.0.1", 27017)db = client.get_database("collection")db.authenticate('collectio...
【Mongo】mongorestore恢复数据特别慢
出现restore数据特别慢的情况,这边出现的就是这种情况我也遇到过恢复数据慢或者卡住的情况,当时是在复制集环境下恢复数据,查看日志后发现是:如果Secondary节点断掉,在Primary节点上执行上面的恢复命令时,由于Arbiter的心跳机制,会导致下面的报错:2016-03-28T16:56:52.304+0800 I RE...
MongoDB更改oplog大小
新加secondary状态RECOVERING,并且提示could not find member to sync from。经研究跟oplog大小偏小有关,本文主要探究修改oplog大小的方法。
【Mongo】mongodb复制集维护小结
原文地址:https://www.cnblogs.com/zhaowenzhong/p/5667312.html一、新增副本集成员1、登录primary2、use admin >rs.add("new_node:port") 或 rs.add({"_id":4,"host":"new_node:port","priority":1,"hidden":false}) 3、use admin>rs.addArb("new_node;port") 或 rs.addArb({"_id":5...
【mongo】mongo 字段类型互转
mark一下参考:https://blog.csdn.net/laoyang360/article/details/725943441.str转long当int很长时db.teststatement.find({"ctime":{$type: 2}}).forEach( function (x) { x.ctime= NumberLong (x.ctime); db.teststatement.save(x);})...
如何在MonogoDB中查看配置的参数值
本文介绍如何在MongoDB实现mysql show variables like 'xx';?方式查看参数值
【Mongo】mongodb的用户认证
mongodb默认是不认证的,默认没有账号,只要能连接上服务就可以对数据库进行各种操作,mongodb认为安全最好的方法就是在一个可信的环境中运行它,保证之后可信的机器才能访问它,可能这些对一些要求高的环境,安全还不够mongodb提供用户认证,需要在启动时加上--auth开启认证认证前需要添加账号
【Mongo】使用killOp干掉Long Running Operation
原文地址:MongoDB提供了killOp请求,用于干掉运行时间很长的请求,killOp通常需要与currentOp组合起来使用;先根据currentOp查询到请求的opid,然后根据opid发送killOp的请求。currentOpcurrentOp会将后端Mongod上正在执行的请求都列出来,也可根据查询条件(如请求类型,请求是否正在等待锁,请求操作的DB或...
【Redis】redis迁移数据到redis-cluster
mark:http://blog.51cto.com/362475097/1890301
【Mongo】mongo聚合操作
1.mark 记个笔记db.getCollection('redefine-collection').aggregate([ { $match:{ 'stime': {'$gte':1526486400000, '$lt':1526572800000},'event_id': '0101001','event_info.action': {'$in': [1, 4,6,9,16,18,21,23,24]} } }, { $group...
【Mongo】Mongo读写分离的实现
http://www.cnblogs.com/nicolegxt/p/9c10328bfd900f1eeb8d359cd6efdfd3.html
【python】str与json类型转换
【Mongo】单节点升级为复制集再升级为分片加复制集
1.单节点配置如下[root@ip-10-1-2-32 etc]# more shard1.conf logpath=/usr/local/mongodb/logs/mongo_shard1.loglogappend=true # need logrotae scriptsfork=truejournal=trueport=27019dbpath=/usr/local/mongodb/shard1pidfilepath=...