ITPub博客

数据量大、流量高，数据过期删除点比较集中，同时不能错峰方式解决问题，因此如何利用最小物理成本来满足业务需求就成为了本集群性能优化的难点。

线上某IOT核心业务集群之前采用mysql作为主存储数据库，随着业务规模的不断增加，mysql已无法满足海量数据存储需求，业务面临着容量痛点、成本痛点问题、数据不均衡问题等。

没有万能的数据库，mongodb 同样也不是万能的，主流数据库都有各自的适用场景和不适用场景。

线上某核心mongodb集群数据量不大，单表数据量十亿级，但是该集群比较核心，影响公司收入流水。本文通过分享本次踩坑来分享整个故障经过，该故障为一次经典的mongodb分片sharding集群踩坑故障，包括变更通知不到位、部署架构不到位、变更考虑不仔细等。

前面的《transport_layer网络传输层模块源码实现》和《command命令处理模块源码实现》详细的分析了mongodb内核网络数据收发过程以及命令解析处理的整个过程，本文将继续分析该系列的第三个子模块-《write写(增、删、改)模块源码实现》。

本文是2020年深圳Qcon全球软件开发大会《专题：现代数据架构》专场、dbaplus专场：万亿级数据库MongoDB集群性能优化实践、mongodb2020年终盛会分享后，获得一致好评。本文收集了会后众多mongodb用户提的比较频繁的16个问题，并对每个问题进行了详细解答，一并整理到本文中。

本文是2020年深圳Qcon全球软件开发大会《专题：现代数据架构》专场、dbaplus专场：万亿级数据库MongoDB集群性能优化实践、mongodb2020年终盛会分享，分享内容如下(体验万亿级mongodb服务层、存储引擎、高并发线程模型、异地多活容灾等实现细节)

mongodb是一款功能完善的分布式文档数据库，在高性能、动态扩缩容、高可用、易部署、易使用、海量数据存储等方面拥有天然优势。虽然mongodb有很多优势，但是在国内缺存在不少的误解，影响力有待提升。

mongostat可以监控整个集群的qps信息，但是表级的qps信息如何监控？例如如果某一时刻读写流量突然暴涨引起集群抖动，怎么知道是那个具体的表引起？mongotop可以获取整个表的读写时延消耗，如果某个表写时延很高，我们如何快速定位写时延高具体由增、删、改操作中的那个操作引起？

本文为command命令处理模块源码实现的第三部分，包括命名规范、时延统计、操作统计等详细代码分析。

本文为mongodb内核源码实现、性能调优、最佳运维实践系列-command命令处理模块源码实现二

Mongodb数据库版本包含企业版本和社区版本，他们的区别是企业版本相比有更多功能，使用企业版本必须购买付费，所以mongodb部分核心功能没有开源。为了增强mongodb集群稳定性，企业需要对开源版本内核进行二次开发，主要包括以下功能模块的开发(增加以下功能后，会有很好的收益)

本文分享TcpCopy在线引流工具在数据库、中间件、服务端等压力测试场景的引流使用方法、踩坑等

中分享了mongodb内核底层网络IO处理相关实现，包括套接字初始化、一个完整mongodb报文的读取、获取到DB数据发送给客户端等。Mongodb支持多种增、删、改、查、聚合处理、cluster处理等操作，每个操作在内核实现中对应一个command，每个command有不同的功能，mongodb内核如何进行command源码处理将是本文分析的重点

本文分析网络传输层模块中的最后一个子模块：service_executor服务运行子模块，即线程模型子模块。在阅读该文章前，请提前阅读下、、，这样有助于快速理解本文分享的线程模型子模块。

在之前的和一文中分析了如何阅读百万级大工程源码、Asio网络库实现、线程模型、transport_layer套接字处理及传输层管理子模块、session会话子模块、Ticket数据收发子模块、service_entry_point服务入口点子模块。 本文将继续分析网络传输层模块中service_state_machine状态机调度子模块内核源码实现。

在之前的一文中分析了如何阅读百万级大工程源码、Asio网络库实现、transport传输层网络模块中线程模型实现，但是由于篇幅原因，传输层网络模块中的以下模块实现原理没有分析，本文降将继续分析遗留的网络子模块二源码实现

开源mongodb代码规模数百万行，本篇文章内容主要分析mongodb网络传输模块内部实现及其性能调优方法，学习网络IO处理流程，体验不同工作线程模型性能极致设计原理。 此外，mognodb网络工作线程模型设计非常好，不仅非常值得数据库相关研发人员学习，中间件、分布式、高并发、服务端等相关研发人员也可以借鉴，极力推荐大家学习。

开源mongodb代码规模数百万行，本篇文章内容主要目的就是引导大家快速进行百万级别规模源码阅读，做到不同大工程源码”举一反三”快速阅读的目的。

某核心JAVA长连接服务使用mongodb作为主要存储，客户端数百台机器连接同一mongodb集群，短期内出现多次性能抖动问题，此外，还出现一次“雪崩”故障，同时流量瞬间跌零，无法自动恢复。本文分析这两次故障的根本原因，包括客户端配置使用不合理、mongodb内核链接认证不合理、代理配置不全等一系列问题，最终经过多方努力确定问题根源。