1.架构

面向文档的NoSQL数据库

1.0 Master-slave

slave间不通信，高可用需人为干预。

1.1 replice set 副本集

Primary 角色是通过整个集群共同选举出来的，人人都可能成为 Primary ，人人最开始只是  Secondary ，而这个选举过程完全自动，不需要人为参，secondary 之间是会有心跳的，MongoDB 副本集通过 Raft 算法来完成主节点的选举。

1.2 sharding

![](http://img.blog.itpub.net/blog/2022/11/28/f3af00f513687ca2.png?x-oss-process=style/bb)

1.2.1 实际情况下，mongos 不需要每次都和 Config Server 交互，大部分情况下只需要把 Chunk 的映射表 cache 一份在 mongos 的内存，就能减少一次网络交互，提高性能。
1.2.2 数据是根据分片策略来进行切分的，而分片策略则由 分片键(ShardKey)+分片算法(ShardStrategy)组成。
本质上 Sharding Strategy 是形成值域的策略而已，MongoDB 支持两种 Sharding Strategy：
Hashed Sharding 的方式 ： 均衡性好，列举性能差；Hash分片是根据用户的 ShardKey 先计算出hash值（64bit整型），再根据hash值按照范围分片的策略将文档分布到不同的 chunk。
Range Sharding 的方式： 列举性能好，但是容易产生热点；将整个取值范围划分为多个chunk，每个chunk（默认配置为64MB）
1.2.3 rebalance
对于数据的不均衡是根据两个分片上的 Chunk 个数差异来判定的，阈值对应表如下：
![](http://img.blog.itpub.net/blog/2022/11/28/eeae493d96978a0e.png?x-oss-process=style/bb)

1.3 MongoDB Atlas

Fully managed MongoDB in the cloud.

2.事务

2.1 MongoDB 采用 ObjectId 来表示主键的类型，数据库中每个文档都拥有一个_id 字段表示主键。
_id 的生成规则如下：
4-byte Unix 时间戳
3-byte 机器 ID
2-byte 进程 ID
3-byte 计数器(初始化随机)
值得一提的是 _id 的生成实质上是由客户端(Driver)生成的，这样可以获得更好的随机性，同时降低服务端的负载。
当然服务端也会检测写入的文档是否包含_id 字段，如果没有就生成一个。
2.2 MongoDB的事务
MongoDB 很早就有事务的概念，但是这个事务只能是针对单文档的，即单个文档的操作是有原子性保证的。
在4.0 版本之后，MongoDB 开始支持多文档的事务：

```shell
In version 4.0, MongoDB supports multi-document transactions on replica sets.
In version 4.2, MongoDB introduces distributed transactions, which adds support for multi-document transactions on sharded clusters and incorporates the existing support for multi-document transactions on replica sets.

```
4.0 版本支持副本集范围的多文档事务。
4.2 版本支持跨分片的多文档事务(基于两阶段提交)。
在事务的隔离性上，MongoDB 支持快照(snapshot)的隔离级别，可以避免脏读、不可重复读和幻读。
尽管有了真正意义上的事务功能，但多文档事务对于性能有一定的影响，应用应该在充分评估后再做选用。

3.读写分离

3.1 读写偏好
3.1.1 read preference， 选项 "primary" or "primaryPreferred" or "secondary" or "secondaryPreferred" or "nearest"(最少网络延迟)
3.1.2 write concern ，选项 "none" or "ack"  or "majority"
writeConcern决定一个写操作落在多少个节点上才算成功
   默认： db.test.insert({count:1},{writeConcern:{w:"1"}})

3.1.3 read concern ，在 readPreference 选择了指定的节点后，readConcern 决定这个节点上的数据哪些是可读的，类似于关系数据库的隔离级别。选项 "local" or "available" or "linearizable" or "majority"
available 读取所有可用的数据，什么都不管；（从节点读取时默认 avaliable）
local 读取所有可用且属于当前分片的数据；（主节点读取时默认 local）
local 和 avaliable 在没有分片集群的情况下是几乎一致的。
但是在分片迁移（chunk）的过程中，可能会存在数据同时出现在两个分片集的情况，这时可能会出现数据重复的问题。
majority 读取在大多数节点上提交完成的数据；（推荐使用），可避免脏读
linearizable 可线性化读取文档，保证这次的读是可以读到上一次的写的；
snapshot 读取最近快照中的数据，差不多可以达到关系型数据库中序列化的级别，隔离级别最高的；
MongoDB <= 3.6 不支持对从节点使用 {readConcern: "local"}；
readConcern 主要关注读的隔离性，ACID 中的 Isolation，但是是分布式数据库特有的概念。
readConcern:"majority" 相应于事务中隔离级别中的 Read Committed。

4.数据模型
![](http://img.blog.itpub.net/blog/2022/11/28/145798bde6fe7dff.png?x-oss-process=style/bb)

MongoDB在数据存储上按命名空间来划分，一个collection是一个命名空间，一个索引也是一个命名空间
同一个命名空间的数据被分成很多个Extent，Extent之间使用双向链表连接
在每一个Extent中，保存了具体每一行的数据，这些数据也是通过双向链接连接的
每一行数据存储空间不仅包括数据占用空间，还可能包含一部分附加空间，这使得在数据update变大后可以不移动位置
索引以BTree结构实现

5.引擎
在MongoDB3.2版本以前，默认的存储引擎是wiredTiger，在3.2版本之后和4.0版本之前，默认的存储引擎是MMAPv1，在4.0版本之后，默认的存储引擎是In-memory

![](http://img.blog.itpub.net/blog/2022/11/28/6cc107f866f5923a.png?x-oss-process=style/bb)

按照 Mongodb 默认的配置， WiredTiger 的写操作会先写入 Cache ，并持久化到 WAL(Write ahead log) ，每 60s 或 log 文件达到 2GB 时会做一次 Checkpoint ，将当前的数据持久化，产生一个新的快照。Wiredtiger 连接初始化时，首先将数据恢复至最新的快照状态，然后根据 WAL 恢复数据，以保证存储可靠性。

Wiredtiger 的 Cache 采用 Btree 的方式组织，每个 Btree 节点为一个 Page ， Root Page 是 Btree 的根节点， Internalpage 是 Btree 的中间索引节点， Leaf Page 是真正存储数据的叶子节点；Btree 的数据以页为单位按需从磁盘加载或写入磁盘。Wiredtiger 采用 Copy on Write 的方式管理修改操作（ insert 、 update 、 delete ），修改操作会先缓存在 cache 里，持久化时，修改操作不会在原来的 Leaf Page 上进行，而是写入新分配的 Page ，每次 CheckPoint 都会产生一个新的 Root Page

6.类似产品
7.性能

7.1 Explain
db.test.find({age: “20”}).hint({age:1 }).explain();
未能命中索引的结果，会显示COLLSCAN
命中索引的结果，使用IXSCAN
出现了内存排序，显示为 SORT
多键索引：当索引的字段为数组时，创建出的索引称为多 Key 索引，多 Key 索引会为数组的每个元素建立一条索引

7.2 优化器Profile
db.setProfilingLevel(2);
0 – 不开启
1 – 记录慢命令 (默认为>100ms)
2 – 记录所有命令
info: #本命令的详细信息
reslen: #返回结果集的大小
nscanned: #本次查询扫描的记录数
nreturned: #本次查询实际返回的结果集
millis: #该命令执行耗时(毫秒)

7.3 参数
查看配置信息示例：db.adminCommand({getParameter: 1, wiredTigerEngineRuntimeConfig: 1})
db.serverStatus().wiredTiger.concurrentTransactions
cacheSizeGB 
oplogSizeMB 
logRotate
commitIntervalMs：WiredTiger上，默认的日志提交间隔为100毫秒。
syncPeriodSecs：mongod使用fsync操作将数据flush到磁盘的时间间隔，默认值为60（单位：秒）
eviction_dirty_trigger 
eviction_dirty_target_settings
eviction.threads_min 
 eviction.threads_max
 
7.4 内存
MongoDB服务器内存要满足connection overhead + data size + index size，即连接数开销 + 热点数据 + 索引。
linux操作系统默认每个连接数占用10M内存

7.5 其他
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
numactl --interleave=all
vm.swappiness=0
XFS文件系统

参考文档：
http://www.ha97.com/4580.html
https://www.modb.pro/db/395070
https://www.cnblogs.com/sweetXiaoma/p/14602327.html

ITPub博客

跟我一起梳理MongoDB基本知识

最新文章