-
编辑 删除
你真的了解kafka架构原理吗？看阿里P8给你归纳总结
前言Kafka是一个高吞吐、分布式、基于发布订阅的消息系统，利用Kafka技术可在廉价PCServer上搭建起大规模消息系统。Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性。那么对于Kafka架构原理，你又知道多少呢？对于kafka的架构原理我们先提出几个问题?1.Kafka的t
-
编辑 删除
程序员必备架构学习笔记：MySQL+Redis+Kafka+多线程
高性能MySQL实战电子书第1章MySQL架构与历史第2章MySQL基准测试第3章服务器性能剖析第4章Schema与数据类型优化第5章创建高性能的索引第6章查询性能优化第7章MySQL高级特性第8章优化服务器设置第9章操作系统和硬件优化第10章复制第11章可扩展的MySQL第12章高可用性第13章云
-
编辑 删除
kafka核心知识点扫盲，全平台最详解析，看完你还说不会吗？
一、kafka概述1.1、定义Kakfa是一个分布式的基于发布/订阅模式的消息队列（messagequeue），主要应用于大数据的实时处理领域1.2、消息队列1.2.1、传统的消息队列&新式的消息队列的模式上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他
-
编辑 删除
Kafka Consumer消费能力较低时的解决方案
背景随着业务的发展,项目组有大量的任务需要处理。这些任务需要主要分为两种类型：通过接口调用,后台执行任务通过调度系统定时执行接口调用就需要执行任务不能阻塞,不然系统的处理能力就会下降。任务调度系统需要在在一个最小的检测粒度时间内,执行完所有任务。这两种情况都面临这样一个问题,任务不能阻塞,不然会非常
-
编辑 删除
Kafka简介、基本原理、执行流程与使用场景
一、简介ApacheKafka是分布式发布-订阅消息系统，在kafka官网上对kafka的定义：一个分布式发布-订阅消息传递系统。它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的
-
编辑 删除
深入浅出Kafka，最系统的阿里架构师Kafka分布式学习文档
简介ApacheKafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Kafka架构它的架构包括以下组件：话题（Topic）：是特定类型的消息流。消息是字节的有效负
-
编辑 删除
前腾讯T3架构师分享：记一次 Kafka 集群线上扩容
欢迎关注专栏《Java架构筑基》——专注于Java技术的研究与分享！Java架构筑基zhuanlan.zhihu.comJava架构筑基——专注于Java技术的研究与分享！后续文章将首发此专栏！欢迎各位Java工程师朋友投稿和关注前段时间收到某个Kafka集群的生产客户端反馈发送消息耗时很高，于是
-
编辑 删除
Kafka幂等性原理及实现剖析
欢迎大家关注Java经验分享，里面大量BATJ面试题，Java技术干货、行业杂谈，也欢迎大家投稿~Java架构之无码不欢zhuanlan.zhihu.com1.概述最近和一些同学交流的时候反馈说，在面试Kafka时，被问到Kafka组件组成部分、API使用、Consumer和Producer原理及
-
编辑 删除
如何在springboot中实现kafka指定offset消费,你知道么？
前言kafka消费过程难免会遇到需要重新消费的场景，例如我们消费到kafka数据之后需要进行存库操作，若某一时刻数据库down了，导致kafka消费的数据无法入库，为了弥补数据库down期间的数据损失，有一种做法我们可以指定kafka消费者的offset到之前某一时间的数值，然后重新进行消费。这里大
-
编辑 删除
Kafka系列1：Kafka概况
Kafka系列1：Kafka概况Kafka是当前分布式系统中最流行的消息中间件之一，凭借着其高吞吐量的设计，在日志收集系统和消息系统的应用场景中深得开发者喜爱。本篇就聊聊Kafka相关的一些知识点。主要包括以下内容：Kafka简介Kafka特点Kafka基本概念Kafka架构Kafka的几个核心概念
-
编辑 删除
最新整理【Java面试宝典】含盖JVM、Spring、Kafka、Zookeeper等29个知识点
全网最真实资料，无虚假无套路，免费获取学习，已经有好多位老铁啃完之后顺利拿到满意的Offer了哟。这份资料绝对是你Java架构进阶之路的不二选择，如果你心动了就请关注我，【点击下方链接】获得免费领取方式吧！点击免费领取Java架构资料shimo.im1.JVM2.Java集合3.Java多线程并发
-
编辑 删除
Kafka的原理介绍及实践
kafka是近年来关注度飞速上升并得到越来越广泛应用的一个产品，本文将介绍一下它的实现原理以及在我们邮箱服务中的应用。1.1Kafka–官方定义根据官网的介绍，Kafka是一个提供统一的、高吞吐、低延迟的，用来处理实时数据的流式平台，它具备以下三特性：1、流式记录的发布和订阅：类似于消息系统。2、存
-
编辑 删除
spark与kafka集成
本文转载至Spark踩坑记--SparkStreaming+Kafka前言在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计
-
编辑 删除
基于Kafka构建事件溯源模式的微服务
概要本文中我们将讨论如何借助Kafka实现分布式消息管理，使用事件溯源（EventSourcing）模式实现原子化数据处理，使用CQRS模式（Command-QueryResponsibilitySegregation）实现查询职责分离，使用消费者群组解决单点故障问题，理解分布式协调框架Zookee
-
编辑 删除
使用 Kafka 和 MongoDB 进行 Go 异步处理
在我前面的博客文章“我的第一个Go微服务：使用MongoDB和Docker多阶段构建”中，我创建了一个Go微服务示例，它发布一个REST式的http端点，并将从HTTPPOST中接收到的数据保存到MongoDB数据库。在这个示例中，我将数据的保存和MongoDB分离，并创建另一个微服务去处理它。我还
-
编辑 删除
kafka 数据可靠性深度解读
1概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark等都支持与Kafka集成。Kafka凭借着自身的优势，越
-
编辑 删除
困扰许久的Kafka Rebalance问题
此文已由作者丁伟伟授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。前提本文的分析基于kafka0.9版本的client,0.10.1.0中已经修改心跳线程为后台线程，并支持设置max.poll.records，参见ChangeLog。使用场景Kafka是一个高吞吐量的分布式消息
-
编辑 删除
Kafka与Zookeeper这些题你还不会吗？
JAVA高级交流群：851531810kafka可以脱离zookeeper单独使用吗？为什么？kafka不能脱离zookeeper单独使用，因为kafka使用zookeeper管理和协调kafka的节点服务器。kafka有几种数据保留的策略？kafka有两种数据保存策略：按照过期时间保留和按照存储的
-
编辑 删除
RabbitMQ vs Kafka
原文地址RabbitMQvsKafkaPart1-TwoDifferentTakesonMessaging在本文中，我们将介绍RabbitMQ和Kafka是什么，如何实现消息队列。两者在技术决策方面大相径庭，各有千秋。本文不会给出任何结论，二是作为一个引子，以便在接下去的连载中深入探讨。Rabbit
-
编辑 删除
深入分析Kafka高可用性
本文主要内容：①kafka复制机制②分区leader副本宕掉怎么选新的leader③高水位与leaderepoch的详细分析④一些相关配置Kafka复制机制Kafka的主题被分为多个分区，分区是基本的数据块。分区存储在单个磁盘上，Kafka可以保证分区里的事件是有序的，分区可以在线（可用），也可以离
