ITPub博客

大家好，我是不才陈某~随着数据的日益增多，在架构上不得不分库分表，提高系统的读写速度，但是这种架构带来的问题也是很多，这篇文章就来讲一讲跨库/表分页查询的解决方案。关于分库分表后的其他的问题，请看陈某前一篇文章：聊聊分库分表架构背景笔者曾经做过大型的电商系统中的订单服务，在企业初期时业务量很少，单库

分库分表的文章网上非常多，但是大多内容比较零散，以讲解知识点为主，没有完整地说明一个大表的切分、新架构设计、上线的完整过程。因此，我结合去年做的一个大型分库分表项目，来复盘一下完整的分库分表从架构设计到发布上线的实战总结。1.前言为什么需要做分库分表。这个相信大家多少都有所了解。海量数据的存储和访问

当业务规模达到一定规模之后，像淘宝日订单量在5000万单以上，美团3000万单以上。数据库面对海量的数据压力，分库分表就是必须进行的操作了。而分库分表之后一些常规的查询可能都会产生问题，常见的就是比如分页查询的问题。一般我们把分表的字段称作shardingkey，比如订单表按照用户ID作为shar

你好，我是坤哥准备写一个针对高并发的系列，今天我们先聊一下高并发下的网络IO模型设计高并发即我们所说的C10K（一个server服务1w个client）,C10M，写出高并发的程序相信是每个后端程序员的追求，高并发架构其实有一些很通用的架构设计，如无锁化，缓存等，今天我们主要研究下高并发下的网络IO

当业务规模达到一定规模之后，像淘宝日订单量在5000万单以上，美团3000万单以上。数据库面对海量的数据压力，分库分表就是必须进行的操作了。而分库分表之后一些常规的查询可能都会产生问题，常见的就是比如分页查询的问题。一般我们把分表的字段称作shardingkey，比如订单表按照用户ID作为shar

.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba

.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba

.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba

.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba

•Meta正在引入Velox，这是一个开源的统一执行引擎（unifiedexecutionengine），旨在加速数据管理系统和简化其开发。•Velox正在积极开发中，Meta在2022年超大型数据库国际会议（VLDB）上发表了相关论文，里面详细介绍了Velox如何提高数据管理系统的效率和一致性。•

.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba

1.概念    Kafka是众多MQ当中的一个，且是开源的应用广泛的组件，是Apache的顶级项目。Kafka是一个分布式发布-订阅消息系统（放信息取信息）和一个强大的队列。使用scala语言编写，非常适合离线（不及时取）和在线（及时取）消息消费。kafka消息保留在磁盘上，并在集群内复制以防止数据丢失。同时它Kafka与Flink，Spark等计算框架组件

消息队列概念与作用

OLTP/OLAP、离线/实时、Lambda架构、实时监控