【精彩视频】从技术到管理,你必须迈过的9道坎(6)
【精彩视频】从New SQL的角度看Apache ShardingSphere — 潘娟(4)
【精彩视频】从New SQL的角度看Apache ShardingSphere — 潘娟(3)
【精彩视频】从New SQL的角度看Apache ShardingSphere — 潘娟(2)
【精彩视频】从New SQL的角度看Apache ShardingSphere — 潘娟(1)
Kafka源码深度解析-系列1 -消息队列的策略与语义
-Kafka关键概念介绍-消息队列的各种策略与语义作为一个消息队列,Kafka在业界已经相当有名。相对传统的RabbitMq/ActiveMq,Kafka天生就是分布式的,支持数据的分片、复制以及集群的方便扩展。与此同时,Kafka是高可靠的、持久化的消息队列,并且这种可靠性没有以牺牲性能为前提。同
分享一些 Kafka 消费数据的小经验
前言之前写过一篇《从源码分析如何优雅的使用Kafka生产者》,有生产者自然也就有消费者。建议对Kakfa还比较陌生的朋友可以先看看。就我的使用经验来说,大部分情况都是处于数据下游的消费者角色。也用Kafka消费过日均过亿的消息(不得不佩服Kakfa的设计),本文将借助我使用Kakfa消费数据的经验来
Kafka 如何做到 1 秒发布百万条消息
Kafka是分布式发布-订阅消息系统,是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。现在被广泛地应用于构建实时数据管道和流应用的场景中,具有横向扩展,容错,快等优点,并已经运行在众多大中型公司的生产环境中,成功应用于大数据领域,本文分享一下我所了解的Kafka。
不明觉厉!线上部署Kafka和ES,为啥JVM堆内存分配越大,性能反而越低?
作者:中华石杉出自:微信公众号“石杉的架构笔记”原文:不明觉厉!线上部署Kafka和ES,为啥JVM堆内存分配越大,性能反而越低?本文给大家聊一个生产环境的实践经验:线上系统部署的时候,JVM堆内存大小是越大越好吗?先说一个前提,本文主要讨论Kafka和Elasticsearch两种分布式系统的线上
SpringBoot入门建站全系列(二十八)整合Kafka做日志监控
SpringBoot入门建站全系列(二十八)整合Kafka做日志监控一、概述ApacheKafka是一个分布式发布-订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点。Kafka适合离线和在线消息消费。Kafka消息保留在磁盘上,并在群集内复制以防止数据丢失
五年双十一:SLS数据管道发展之路
日志服务SLS是一款飞天团队自研产品,服务云上云下3W+客户,并在阿里经济体中作为日志数据的基础设施,在过去几年中经历多次双十一、双十二、新春红包锤炼。在2019双十一中:服务阿里经济体3W+应用,1.5W外部独立客户峰值30TB/min、单集群峰值11TB/min单日志峰值600GB/min单业务
18道kafka高频面试题哪些你还不会?(含答案和思维导图)
前言Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spar
面试官:因为Kafka这道题接连被怼,看完这个成功吊打面试官
前言Kafka由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。近些年来,大数据技术蓬勃发展,各种围绕大数据处理的平台技术,包括组件、工具、框架越来越丰富;相关的开源工具和实践资料也越来越多,其中消息队列便是一个重要的组成部分。对于一个大型系统而言,我们通常需要围绕消息来构建整个系统
架构师技能树之——kafka
每天更新各种好玩的好用的java知识及面试资讯,欢迎小伙伴们关注哈,点关注,不迷路Java架构杂货铺zhuanlan.zhihu.com什么是KafkaApacheKafka®isadistributedstreamingplatformAstreamingplatformhasthreekeyc
Kafka系列2:深入理解Kafka生产者
Kafka系列2:深入理解Kafka消费者上篇聊了Kafka概况,包含了Kafka的基本概念、设计原理,以及设计核心。本篇单独聊聊Kafka的生产者,包括如下内容:生产者是如何生产消息如何创建生产者发送消息到Kafka生产者配置分区生产者是如何生产消息的首先来看一下Kafka生产者组件图这里大家可以
一文拿到MapReduce+kafka+Flink17G视频教程,程序员:爽的一匹
前言在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。了解
RabbitMQ和Kafka的比较,一比吓一跳!
导言作为一个有丰富经验的微服务系统架构师,经常有人问我,“应该选择RabbitMQ还是Kafka?”。基于某些原因,许多开发者会把这两种技术当做等价的来看待。的确,在一些案例场景下选择RabbitMQ还是Kafka没什么差别,但是这两种技术在底层实现方面是有许多差异的。不同的场景需要不同的解决方案,
Kafka落选!InfoWorld最佳开源数据平台奖公布
本文由「AI前线」原创(ID:ai-front),原文链接:Kafka落选!InfoWorld最佳开源数据平台奖公布策划编辑|Vincent来源|InfoWorld翻译|刘嘉洋编辑|NatalieAI前线导读:一年一度由世界知名科技媒体InfoWorld评选的BossieAwards于9月26日公布
Linux 中的零拷贝技术
什么是拷贝要知道零拷贝,需要先知道什么是拷贝。其实这个”拷贝“来自于Linux中的标准I/O接口的基本数据拷贝的操作,而这一操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。为什么需要零拷贝从上图中可以看出,共产生了四次数据拷贝,即使使用了DMA来处理了与硬件的
从0开始学Kafka(上)
引言最近冒着变秃的危险学习kafka,看起我的小视频,记起我的小笔记~在此之前,只是听说过kafka,并没有系统的学习过。如果是小白,可以进来和我一起摸索;如果是大佬,欢迎复习并纠正我的错误~有关分布式和消息队列共性的一点理论这里就不展示了,主要是看kafka相关的特性和知识。文章导读Kafka基础