300条mongodb数据变更引发的血案-记某十亿级核心mongodb集群部分请求不可用故障踩坑记
线上某核心mongodb集群数据量不大,单表数据量十亿级,但是该集群比较核心,影响公司收入流水。本文通过分享本次踩坑来分享整个故障经过,该故障为一次经典的mongodb分片sharding集群踩坑故障,包括变更通知不到位、部署架构不到位、变更考虑不仔细等。
MongoDB Replica Set
当下数据为王的时代,数据的重要性已经和土地,劳动力,资本一样不分伯仲。尤其近年来各色各样的数据级公司相对崛起,数据的安全性已经成为了决一兴败的关键。数据库的选型亦然成为了热度比较高的话题讨论。服务器环境:centos7 mongo3.4.2 mongo集群: Replica Set 是mongodb官方推荐的一种集群方式取
MongoDB 视图DDL查看not authorized on xxx to execute command { find: system.views
最近做Mongodb数据库迁移,在对shard集群迁移时,发现视图和函数无法迁移到目标端,需要手工查询源端视图和函数的DDL定义到目标端重建视图和函数,但是在查询视图时提示权限不足。
分布式Redis是前期做还是后期规模上来了再做好?
分布式Redis是前期做还是后期规模上来了再做好?
Redis有哪几种数据淘汰策略?
Redis有哪几种数据淘汰策略?
MongoDB备份/恢复方案
一、单机备份/恢复MongoDB的逻辑备份/恢复1、备份步骤1)登录单机实例,将数据库锁定db.fsyncLock()2)在操作系统通过mongodump备份数据3)解除锁定db.fsyncUnlock()2、恢复步骤使用mongorestore将数据恢复MongoDB的物理备份/恢复1、备份步骤1)登录单机实例,将数据库锁定或者直接停机db.fsyncLock()2)将目录下的所有文件直接复制出
mongoexport和mongoimport实战
1、mongoexport导出csv文件mongoexport --host 172.16.254.130 --port 27017 -u admin --authenticationDatabase admin -d db6 -c db6 --type&n
mongodump和mongorestore实战
1、mongodump备份工具mongodump能够在Mongodb运行时进行备份,它的工作原理是对运行的Mongodb做查询,然后将所有查到的文档写入磁盘。mongodump的参数与mongoexport的参数基本一致。mongodump关键参数如下所示:mongodump --help查看帮助命令-h,–host :代表远程连接的数据库地址,默认连接本地Mongo数据库;–port:代表远程连
MongoDB 4.2分片集群搭建
项目环境: CentOS 7.5MongoDB 4.2.12一、分片集群规划IP:172.16.254.136 172.16.254.137 &
MongoDB 4.2副本集添加/删除副本(一主一副一仲裁)
一、修改/etc/hosts172.16.254.131 mongo1 172.16.254.132 mongo2 172.16.254.133 mongo3 172.16.254.134 mongo4二、添加副本172.16.254.131handong1:PRIMARY> rs.add("mongo4:27017"
MongoDB 4.2副本集自动故障转移(一主一副一仲裁)
一、检查副本集状态handong1:PRIMARY> rs.status() { "set" : "handong1", "date" : ISODate("2021-03-18T11:43:08.167Z"), "myState"
MongoDB 4.2副本集配置(一主一副一仲裁)
项目环境:CentOS 7.5MongoDB 4.2.12一、配置参数文件172.16.254.131dbpath=/mongodb/data logpath=/mongodb/logs/mongodb.log port=27017 fork=true #auth=true noauth=true #verbose=true #vvvv=true journal =&nb
Mongodb数据同步和主从切换
一、主从切换方式1.在采用Master-Slave下,备节点宕机不会影响到主节点,但是主节点宕机,并不会自动进行故障转移,会影响到连接mongodb的应用程序。2.需要手动把备节点的停止,并修改mongodb.conf文件后,再重启,如图: 3.由于现在备节点已经变成了主节点,所以需要修改web的poseidon.properties和rmm的xx.config里的mongodb相关配置
MongoDB 4.2副本集配置(一主二副)
项目环境:CentOS 7.5MongoDB 4.2.12一、部署MongoDB 1、三个节点安装以下包yum install -y cyrus-sasl cyrus-sasl-plain cyrus-sasl-gssapi krb5-libs lm_sensors-libs net-snmp-agent-l
突破关系型数据库桎梏:云原生数据库中间件核心剖析
传统的将数据集中存储至单一数据节点的解决方案,在性能和可用性两方面已经难于满足互联网的海量数据场景。由于关系型数据库大多采用B+树类型的索引,在数据量超过阈值的情况下,索引深度的增加也将使得磁盘访问的IO次数增加,进而导致查询性能的大幅下降;同时高并发访问请求也使得集中式数据库成为系统的最大瓶颈。
mongodb内核源码实现及性能优化系列:Mongodb write写(增、删、改)模块源码实现
前面的《transport_layer网络传输层模块源码实现》和《command命令处理模块源码实现》详细的分析了mongodb内核网络数据收发过程以及命令解析处理的整个过程,本文将继续分析该系列的第三个子模块-《write写(增、删、改)模块源码实现》。
Redis开启AOF持久化数据丢失问题
一、过程演示登录redis,并写入测试数据redis-cli -h 172.16.254.124 -p 6379 -a redis 172.16.254.124:6379> set handong dongge OK 172.16.254.124:6379> set ci
redis-benchmark测试Redis集群性能
基础环境配置:Redis5 三主三从cluster1、100个并发连接,100000个请求,检测host为172.16.254.124端口为7004的redis服务器性能redis-benchmark -h 172.16.254.124 -p 7004 -c 100 -n 100000====== PING_
Redis5 集群缩容
本文将上篇文章添加的节点从Redis集群里删除。1、查看集群信息cluster nodes 5aa077444a506afad1ff796616124a0b7298c125 172.16.254.126:7006@17006 master - 0 1614781558502 10 connected 134
Redis5 集群扩容
一、环境准备1、部署Redis5集群(见前一篇文章)2、增加节点master172.16.254.121:7001slave172.16.254.122:7002并启动redis进程二、集群扩容添加节点172.16.254.121:7001到集群redis-cli --cluster add-node 172.16.254.121:7001 172.16.2