再聊几句分布式数据库
昨天的文章发了以后有朋友就怀疑这文章是给集中式数据库厂商打call的,实际上我只是从一个相对客观的角度把我对分布式数据库的个人见解写出来了。同样对于这个话题,分布式数据库的拥趸也可以写出一篇比较客观的文章,观点看上去完全不同。是不是很奇妙,怎么会存在两种截然不同的事实呢?如果你了解过阳明心学,从表象
分布式数据库的几个事实
今天出差,在高铁上想起前几天和一个客户交流的事情,于是利用高铁上这段时间,慢慢写一篇吧。最近这几天在外面出差,可能不一定有时间发文章了。这是一个金融客户,他们企业的业务覆盖面不大,每秒钟大概交易量是500笔左右。目前用了两台IBM小机跑ORACLE11.2.0.4RAC,节点负载比较均衡,CPU使用
【Seata源码领读】揭秘 @GlobalTransactional 背后 RM 的黑盒操作之一阶段
一、前奏Seata从设计层面将事务参与者的角色分为TC(事务协调器)、RM(资源管理器)、TM(事务管理器),传统的XA方案中,RM是在数据库层,即依赖了DB的XA驱动能力,也会
如果你还不知道SAGA,那这篇不容错过!|分布式事务系列(五)
这是分布式事务系列的第五篇,如果之前文章没读请自行前往。精华专题,强烈建议收藏。本文详细讲解了分布式事务解决方案——SAGA。SAGA事务什么是SAGA事务SAGA的意思是“长篇故事、长篇记叙、一长串事件”。SAGA事务模式的提出非常早,
只需5分钟,深刻理解本地事务状态表方案|分布式事务系列(四)
之前我们已经讲过了基础的CAP、BASE理论,然后介绍了强一致性方案XA、2PC和3PC,然后详细讲述了TCC在生产中的应用场景和原理。本文继续讲解终一致性方案——本地事务状态表方案本地事务状态表本地事务状态表的方案中主要有三种角色:
分布式夺命12连问
分布式理论1.说说CAP原则?CAP原则又称CAP定理,指的是在一个分布式系统中,Consistency(一致性)、Availability(可用性)、Partitiontolerance(分区容错性)这3个基本需求,
聊聊分布式架构的前世今生!
大家好,我是Tom哥。本文将介绍微服务架构和相关的组件,介绍他们是什么以及为什么要使用微服务架构和这些组件。本文侧重于简明地表达微服务架构的全局图景,因此不会涉及具体如何使用组件等细节。要理解微服务,首先要先理解不是微服务的那些。通常跟微服务相对的是单体应用,即将所有功能都打包成在一个独立单元的应用
分布式日志追踪框架!
随着微服务盛行,很多公司都把系统按照业务边界拆成了很多微服务,在排错查日志的时候,因为业务链路贯穿着很多微服务节点,导致定位某个请求的日志以及上下游业务的日志会变得有些困难。这时候可能有的小伙伴就会想到使用SkyWalking,Pinpoint等分布式追踪系统来解决,并且这些系
分布式锁的 10 个坑,你知道几个?
日常开发中,经常会碰到秒杀抢购等业务。为了避免并发请求造成的库存超卖等问题,我们一般会用到Redis分布式锁。但是使用Redis分布式锁,很容易踩坑哦!本文将给大家分析阐述,Redis分布式锁的10个坑!1.非原子操作(setnx+expire)一说到实现Redis的分布式锁,
分布式文件系统实战,使用MinIO构建分布式文件系统!
随着文件数据的越来越多,传统的文件存储方式通过tomcat或nginx虚拟化的静态资源文件在单一的服务器节点内已经无法满足系统需求,也不利于文件的管理和维护,这就需要一个系统来管理多台计算机节点上的文件数据,这就是分布式文件系统。一、什么是分布式文件系统?1.1什么是分布式文件系统分布式文件系统(D
浅谈几种常见的分布式ID
在分布式环境下,如何对某对象做标识是个很常规的问题。本文讨论几种常见做法,供大家参考。1.UUIDUUID是可以生成时间、空间上都独一无二的值,其本质是随机+规则组合而成的。即使在两个独立的服务器上生成UUID,其预期值也是不同的。以MySQL为例,说明下UUID。❖格式在MySQL中,UUID
分布式必备理论基础:CAP和BASE
大家好,我是老三,今天是没有刷题的一天,心情愉悦,给大家分享两个简单的知识点:分布式理论中的CAP和BASE。CAP理论什么是CAPCAP原则又称CAP定理,指的是在一个分布式系统中,Consistency(一致性)、Availability(可用性)、Partitiontolerance(分区容错
分布式系统的“脑裂”到底是个什么玩意?
目前大多数项目都在往分布式上发展,一旦系统采用分布式系统,便会引入更多复杂场景和解决方案。比如,当你在系统中使用了Elasticsearch、ZooKeeper集群时,你是否了解过集群的“脑裂”现象?又是否知道它们是如何解决脑裂问题的?如果这些都还未了解,那么你对分布式的了解过于表象了,推荐你读一读
基于任务调度的企业级分布式批处理方案
背景CloudNative先来谈下什么是分布式批处理,从字面来理解就是有大批量的业务数据需要应用程序去批量计算处理,而通过单机模式去执行会耗费很长的处理时间,也不能充分发挥业务集群中每个应用节点处理能力。通过一些常见的分布式批处理方案,可以有效地让业务集群中所有业务应用节点协同完成一个大批量数据处理
分布式数据库其实不好做
现在国产数据库据说已经突破300种了,厂家也有近200家,这些数据库产品中,大多数都是分布式数据库。不仅仅是中国,其实这些年国外的新数据库产品中,分布式数据库也占了很大的比例。这是为什么呢?分布式数据库更容易开发吗?还是用户更需要分布式数据库呢?实际上我并不是用户,用户才是对这个问题最有发言权的。他
20张图!常见分布式理论与解决方案
对于分布式系统,简单的理解就是一堆机器对外提供服务,相比单体服务,它可以承受更高的负载,但是分布式系统也带了一系列问题,比如如何解决某个节点故障的问题?如何解决数据一致性的问题?如何解决数据倾斜的问题?今天通过这篇文章,带大家搞懂和分布式相关的常见理论和解决方案。CAP理论先从定义开始:C(Con
美团外卖搜索基于Elasticsearch的优化实践
总第544篇2022年第061篇美团外卖搜索工程团队在Elasticsearch的优化实践中,基于Location-BasedService(LBS)业务场景对Elasticsearch的查询性能进行优化。该优化基于Run-LengthEncoding(RLE)设计了一款高效的倒排索引结构,使检索耗
1.4 w字,25 张图让你彻底掌握分布式事务原理
本文提纲如下0.前言1.单数据源事务&多数据源事务2.常见分布式事务解决方案2.1.分布式事务模型2.2.二将军问题和幂等性2.3.两阶段提交(2PC)&三阶段提交(3PC)方案2.4.TCC方案2.5.事务状态表方案2.6.基于消息中间件的终一致性事务方案3.SeatainATm
分布式存储在B站的应用实践
分享嘉宾:林堂辉哔哩哔哩开发工程师编辑整理:张振飞神州新桥出品平台:DataFunTalk导读:业务高速发展,B站的存储系统如何演进以支撑指数增长的流量洪峰?随着流量进一步暴增,如何设计一套稳定可靠易拓展的系统,来满足未来进一步增长的业务诉求?同时,面对更高的可用性诉求,KV是如何通过异地多活为
ClickHouse 冷热分离存储在得物的实践
1.业务背景得物上一代日志平台的存储主要依赖于ES。随着公司业务的高速发展,日志场景逐步产生了一些新需求,主要表现在:应用数量逐步增多,研发需要打印更多的日志定位业务问题,安全合规需要保留更长时间的日志。随着Clickhouse的应用广泛,我们了解到行业部分知名公司已经将日志平台逐步由ES迁移至Cl