ITPub博客

MongoDB的oplogSize修改

原创 NoSQL 作者:骑着蜗牛的兔子 时间:2018-09-24 20:49:29 0 删除 编辑

前言:

    有时候由于某些情况,我们必须修改oplog size来增大同步窗口期,例如业务的快速增长,延迟节点无法跟上Primary节点的oplog增长速度;由于MongoDB在3.6版本后才对oplogSize支持了动态修改,但鉴于很多用户的生产环境有可能仍然处于3.4及以前版本,故本文将两种修改方法均记录于此。并且将模拟业务不停机的情况下实施副本集的oplog窗口期修改。

方法一:

3.4版本修改方法

步骤概略:

  • 关闭一Secondary节点

  • 修改端口号,以单实例方式启动

  • 修改oplog大小

  • 重新以复制集模式启动数据库实例

详细过程:

1、关闭此节点并以单实例启动  

1.1关闭节点进程

SECONDARY> db.shutdownServer()

1.2注销Replica set相关启动参数

并修改port端口号(假设原来是27001,现改为37001)

1.3 重新启动

/apps/mongodb/bin/mongod -f /data/johnny/cfg/shard1.cnf

2、 备份节点oplog日志

全备当前节点的所有oplog记录

mongodump --port 37001 --db local --collection 'oplog.rs'

     备份oplog.rs中最近的一条oplog记录

>use local
>db.optmp.drop()     ---清空临时表,存放oplog最近一条记录
>db.optmp.save(db.oplog.rs.find( { }, { ts: 1, h: 1 } ).sort( {$natural : -1} ).limit(1).next() )     ---将最近一条记录存放到临时集合中
>db.optmp.find()     ---验证是否记录已存入
{ "_id" : ObjectId("5a0d437ed4738d194fa0b94f"), "ts" : Timestamp(1510389543, 1), "h" : NumberLong("-2633465233485407995") }

3、修改oplogSize

     删除原oplog.rs集合

>use local
>db.oplog.rs.drop()

     创建新oplog.rs集合

> db.runCommand( { create: "oplog.rs", capped: true, size: (2 * 1024 * 1024 * 1024) } )
{ "ok" : 1 }          ---成功的话将返回ok

4、还原之前备份的最近一条记录

> db.oplog.rs.save(db.optmp.findOne())
> db.oplog.rs.find()          ---查询验证是否已插入

5、重新加入副本集

5.1 关闭当前单实例进程

>db.shutdownServer()

5.2 恢复配置文件信息

(注意oplogSizeMB参数值的修改)

 5.3 启动实例进程

/apps/mongodb/bin/mongod -f /data/johnny/cfg/shard1.cnf

6、检查节点状态

登录到mongo shell中检查节点是否成功加入副本集架构

>rs.status()
     检查oplogSize是否生效(红色字体)
SECONDARY> rs.printReplicationInfo()
configured oplog size:   2048MB
log length start to end: 0secs (0hrs)
oplog first event time:  Sat Nov 11 2017 16:39:03 GMT+0800 (CST)
oplog last event time:   Sat Nov 11 2017 16:39:03 GMT+0800 (CST)
now:                     Thu Nov 16 2017 17:00:32 GMT+0800 (CST)

7、根据上述步骤依次修改副本集的其他成员的oplogSize参数

注:修改Primary节点时,记得先使用如下命令降级,然后再修改

Primary>rs.stepDown()          ---可以更有效的产生选举

方法二:

3.6版本后支持的动态修改方法

1.修改之前的参数大小:

replication:
   oplogSizeMB: 1024
   replSetName: shardrs1

登录到mongo shell后查看oplog.rs集合大小

> use local
switched to db local
> db.oplog.rs.stats().maxSize
NumberLong(1073741824)    ---单位bytes,即2014MB

2.通过管理命令修改

> use local
switched to db local
> db.adminCommand({replSetResizeOplog:1, size: 2048});    ---2048的单位也MB
{
    "ok" : 1,
    "operationTime" : Timestamp(1537776585, 1),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1537776585, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    }
}

3.验证是否成功

> db.oplog.rs.stats().maxSize
NumberLong("2147483648")

至此我们的oplog size动态修改完毕,是不是很简单,是不是很easy?

思考:

  • 问1: replSetResizeOplog命令会不会同时修改了replication.oplogSizeMB参数值呢?

  • 答:我此时查看启动配置文件,发现oplogSizeMB依然是1024;

  • 问2:重启后会不会配置文件中的参数值就更改为修改值了呢?

  • 答:重新启动数据库实例后,我发现并没有,还是最初值

  • 问3:那么重启后,新修改值会失效吗?

  • 答:我再次发现并没有,仍然使用最新值

shardrs1:PRIMARY> db.oplog.rs.stats().maxSize
NumberLong("2147483648")

猜测:

因为oplog.rs为固定集合,故动态修改完之后,oplog.rs集合的大小已发生变更,并且配置文件中的replication.oplogSizeMB参数只是在初始化oplog.rs集合时调用。


注: 如果是减小oplog size,有可能会造成oplog记录丢失,从而导致其他同步节点异常。








来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31547523/viewspace-2214748/,如需转载,请注明出处,否则将追究法律责任。

上一篇: MongoDB单实例部署
请登录后发表评论 登录
全部评论

注册时间:2018-08-13

  • 博文量
    3
  • 访问量
    1111