-
编辑 删除
我用kafka两年踩过的一些非比寻常的坑
大家好，我是苏三，又和大家见面了。前言我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。我当时在后厨显示系统团队，该系统属于订单的下游业务。用户点完菜下单后，订单系统会通过发kafka消息
-
编辑 删除
懵了，Kafka、RabbitMQ到底选哪个？
经常有人问我有个xx需求，我应该用Kafka还是RabbitMQ？这个问题很常见，而且很多人对二者的选择也把握不好。所以我决定写篇文章来详细说一下：Kafka和RabbitMQ的区别，适用于什么场景？同时，这个问题在面试中也经常问到。下面我会通过6个场景，来对比分析一下Kafka和RabbitMQ的
-
编辑 删除
搞透Kafka的存储架构，看这篇就够了
阅读本文大约需要30分钟。这篇文章干货很多，希望你可以耐心读完。你好,我是华仔，在这个1024程序员特殊的节日里，又和大家见面了。从这篇文章开始，我将对Kafka专项知识进行深度剖析，今天我就来聊聊kafka的存储系统架构设计，说到存储系统，大家可能对MySQL比较熟悉，也知道MySQL是基于B+t
-
编辑 删除
搞透Kafka的存储架构，看这篇就够了
阅读本文大约需要30分钟。这篇文章干货很多，希望你可以耐心读完。你好,我是华仔，在这个1024程序员特殊的节日里，又和大家见面了。从这篇文章开始，我将对Kafka专项知识进行深度剖析，今天我就来聊聊kafka的存储系统架构设计，说到存储系统，大家可能对MySQL比较熟悉，也知道MySQL是基于B+t
-
编辑 删除
Redis主从、哨兵、 Cluster集群一锅端！
前言大家好，我是捡田螺的小男孩。今天跟小伙伴们一起学习Redis的主从、哨兵、RedisCluster集群。Redis主从Redis哨兵RedisCluster集群1.Redis主从面试官经常会问到Redis的高可用。Redis高可用回答包括两个层面，一个就是数据不能丢失，或者说尽量减少丢失;另外一
-
编辑 删除
实时数据湖 Flink Hudi 实践探索
分享嘉宾：陈玉兆阿里云技术专家编辑整理：徐纯根天翼云科技公司出品平台：DataFunTalk导读：首先做个自我介绍，我目前在阿里云云计算平台，从事研究Flink和Hudi结合方向的相关工作。目前，Flink+Hudi的方案推广大概已经有了一年半的时间，在国内流行度也已比较高，主流的公司也会尝试去迭代
-
编辑 删除
字节跳动 Flink 状态查询实践与优化
摘要：本文整理自字节跳动基础架构工程师，ApacheFlinkContributor马越在FlinkForwardAsia2021平台建设专场的演讲。主要内容包括：背景StateProcessorAPI介绍StateMetaSnapshot机制StateasDatabase使用FlinkBatchS
-
编辑 删除
Kafka丢失数据问题优化总结以及重复消费原因分析（一）
.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba
-
编辑 删除
Kafka丢失数据问题优化总结以及重复消费原因分析（二）
.css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;ba
-
编辑 删除
图解 Kafka 生产者初始化核心流程
今天这篇我们先来聊聊Kafka生产者初始化时用到的核心组件以及发送的核心流程，带你梳理生产者初始化整体的源码分析脉络。认真读完这篇文章，我相信你会对Kafka生产初始化源码有更加深刻的理解。这篇文章干货很多，希望你可以耐心读完。01总体概述我们都知道在Kafka中，我们把产生消息的一方称为生产者即P
-
编辑 删除
讲真！Kafka 的原理竟是这样的，一看就明白！
Kafka是主流的消息流系统，其中的概念还是比较多的，下面通过图示的方式来梳理一下Kafka的核心概念，以便在我们的头脑中有一个清晰的认识。01基础Kafka是一套流处理系统（也可以叫消息队列），可以让后端服务轻松地相互沟通，是微服务架构中的常用组件。02生产者消费者生产者服务Producer向Ka
-
编辑 删除
Kafka 负载均衡在 vivo 的落地实践
vivo互联网服务器团队-YouShuo副本迁移是Kafka最高频的操作，对于一个拥有几十万个副本的集群，通过人工去完成副本迁移是一件很困难的事情。CruiseControl作为Kafka的运维工具，它包含了Kafka服务上下线、集群内负载均衡、副本扩缩容、副本缺失修复以及节点降级等功能。显然，Cr
-
编辑 删除
超强图解Kafka
目录前言基础生产消费者Topics主题Partitions分区架构前言Kafka是主流的消息流系统，其中的概念还是比较多的，下面通过图示的方式来梳理一下Kafka的核心概念，以便在我们的头脑中有一个清晰的认识。基础Kafka是一套流处理系统，可以让后端服务轻松的相互沟通，是微服务架构中常用的组件。生
-
编辑 删除
Kafka 负载均衡在 vivo 的落地实践
vivo互联网服务器团队-YouShuo副本迁移是Kafka最高频的操作，对于一个拥有几十万个副本的集群，通过人工去完成副本迁移是一件很困难的事情。CruiseControl作为Kafka的运维工具，它包含了Kafka服务上下线、集群内负载均衡、副本扩缩容、副本缺失修复以及节点降级等功能。显然，Cr
-
编辑 删除
Kafka基础入门篇
1kafka简介Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用与大数据实时处理领域。其主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的机器上也能做到单机支持每秒100
-
编辑 删除
Kafka 3.0新特性全面曝光，真香！
导语|kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若
-
编辑 删除
kafka三高架构设计剖析
1kafka三高架构概述由于最近事情比较多,工作也比较忙,这篇差点难产,经过几个周末的构思和梳理,终于跟大家见面了,在上一篇我们讲述了kafka的基础入门,工作流程,存储机制,副本等知识,本篇会为大家揭秘kafka高可用,高性能,高并发架构设计奥秘。Kafka向来以高吞吐量，低延迟，高并发,高可扩展
-
编辑 删除
Kafka 怎么顺序消费？面试必备！
前言本文针对解决Kafka不同Topic之间存在一定的数据关联时的顺序消费问题。如存在Topic-insert和Topic-update分别是对数据的插入和更新，当insert和update操作为同一数据时，应保证先insert再update。1、问题引入kafk
-
编辑 删除
性能突出的Redis是咋使用epoll的？
我是个redis服务，我马上就要启动了因为我的主人正在控制台输入：./redis-server宏观上看下我的流程突然，主人按下了回车键，不得了了。shell程序把我的程序加载到了内存，开始执行我的main方法，一切就从这里开始了。intmain(intargc,char**argv){...init
-
编辑 删除
从一次 Kafka 节点宕机探究 Kafka 的高可用实现
一、Kafka宕机引发的高可用问题问题要从一次Kafka的宕机开始说起。笔者所在的是一家金融科技公司，但公司内部并没有采用在金融支付领域更为流行的RabbitMQ，而是采用了设计之初就为日志处理而生的Kafka，所以我一直很好奇Kafka的高可用实现和保障。从Kafka部署后，系统内部使用的Kafk
