读书 | Making Sense of Stream Processing
豆瓣:MakingSenseofStreamProcessing前段时间读了IheartLogs这本小册子,感觉意犹未尽,于是跟随@阿莱克西斯的脚步,又看了下这本书。本书作者还有一本更广为人知的书DesigningData-IntensiveApplications,关于DDIA的评价可以参考,作者
Kafka面试题全套整理:消息处理+高可用集群+生产者与消费者实例
有很多人问过我要过Kafka相关的面试题,我一直懒得整理,这几天花了点时间,结合之前面试被问过的、别人咨询过的、我会问别人的进行了相关的整理,也就几十题,大家花个几分钟看看应该都会。面试题列表如下:Kafka的用途有哪些?使用场景如何?Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么Kaf
求不更学不动之Redis5.0新特性Stream尝鲜
Redis5.0最近被作者突然放出来了,增加了很多新的特色功能。而Redis5.0最大的新特性就是多出了一个数据结构Stream,它是一个新的强大的支持多播的可持久化的消息队列,作者坦言RedisStream狠狠地借鉴了Kafka的设计。RedisStream的结构如上图所示,它有一个消息链表,将所
Kafka 1.0 中文文档发布,2018 新年首秀,大家新年快乐 | ApacheCN
文档地址Kafka官方文档:http://kafka.apache.org/documentation/Kafka中文文档:http://kafka.apachecn.org/documentation.html(持续更新中,当前翻译进度为80%+,期待你的加入)Kafka中文文档github:ht
Kafka Connect内部原理
今天主要讲在大规模数据情况下,Kafka如何解决实时的数据集成问题。主要有以下四个方面:1.TraditionalETL2.DataIntegration3.KafkaConnect4.GroupManagement1.TraditionalETL回顾历史,三四十年前,大部分的应用是比较简单的架构(
震惊了!原来这才是 Kafka!(多图+深入)
简介生产消费消息投递语义文件组织常用配置项《Netty实现原理与源码解析——精品合集》《Spring实现原理与源码解析——精品合集》《MyBatis实现原理与源码解析——精品合集》《SpringMVC实现原理与源码解析——精品合集》《SpringBoot实现原理与源码解析——精品合集》《数据库实体设
比拼Kafka,大数据分析新秀Pulsar到底好在哪
本文由「AI前线」原创(ID:ai-front),原文链接:比拼Kafka,大数据分析新秀Pulsar到底好在哪作者|SijieGuo翻译|翟佳整理&编辑|NatalieAI前线导读:一年一度由世界知名科技媒体InfoWorld评选的BossieAwards于9月26日公布,本次Bossie
Neo4j基础操作速查表
1.创建节点create(n);viewcreatednodematch(n)returnn;2.创建多个节点create(n),(m);match(n)returnn;3.通过id搜索节点match(n)whereid(n)=1returnn;搜索时可以使用<.<=..这些关系操作ma
Kafka如何实现每秒上百万的超高并发写入?掌握好面试给你打满分
这篇文章来聊一下Kafka的一些架构设计原理,这也是互联网公司面试时非常高频的技术考点。Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢?这篇
Kafka设计解析(一) Kafka背景及架构介绍
原创文章,转载请务必将下面这段话置于文章开头处。(已授权InfoQ中文站发布)本文转发自技术世界,原文链接Kafka设计解析(一)-Kafka背景及架构介绍1.摘要Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与ClouderaHadoop,Apac
Kafka,Mq,Redis作为消息队列使用时的差异?
Kafka是作为新一代的消息系统,mq是比较成熟消息系统,而redis也可以发布订阅了,那么这三者有何异同?自己查了查资料,了解了一下,其实,作为消息队列来说,企业中选择mq的还是多数,因为像Rabbit,Rocket等mq中间件都属于很成熟的产品,性能一般但可靠性较强,而kafka原本设计的初衷是
深度解析某头条的一道面试题
首先,某头条的文章量、用户量都是很大的,点击量那就更恐怖了。请问,如果实时展现热门文章,比如近8小时点击量最大的文章前100名。如果是你来开发这个功能,你怎么做?>这个好办啊,redis一个sortedset搞定啊,score计数,key是文章ID,不就ok了么?>回答的不错,你可以走了
RabbitMQ, ZeroMQ, Kafka 是一个层级的东西吗, 相互之间有哪些优缺点?
RabbitMQ是一个AMQP实现,传统的messagingqueue系统实现,基于Erlang。老牌MQ产品了。AMQP协议更多用在企业系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量还在其次。Kafka是linkedin开源的MQ系统,主要特点是基于Pull的模式来处理消息消费
kafka 推荐书籍
Kafka目前没有特别完备的中文资料,不过还是搜集了一些,希望对楼主有用:英文部分1.官网:ApacheKafka自然是最重要的,其实把官网文档完全理解了已经算是掌握得非常好了2.JIRA列表:Kafka-ASFJIRAKafkaissue列表,使用关键字去搜索你碰到的实际问题3.KafkaKIP:
大白话 + 13 张图解 Kafka
前言一、Kafka基础消息系统的作用1.Topic主题2.Partition分区3.Producer-生产者4.Consumer-消费者5.Message-消息二、kafka的集群架构Replica-副本ConsumerGroup-消费者组Controllerkafka和zookeeper如何配合工
Kafka史上最详细原理总结
KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/S
Kafka简明教程
Kafka是啥?用Kafka官方的话来说就是:Kafkaisusedforbuildingreal-timedatapipelinesandstreamingapps.Itishorizontallyscalable,fault-tolerant,wickedfast,andrunsinproduc
消息队列的使用场景是怎样的? 经常听到诸如rabbitmq,activemq,请教一下各位前辈消息队
个人认为消息队列的主要特点是异步处理,主要目的是减少请求响应时间和解耦。所以主要的使用场景就是将比较耗时而且不需要即时(同步)返回结果的操作作为消息放入消息队列。同时由于使用了消息队列,只要保证消息格式不变,消息的发送方和接收方并不需要彼此联系,也不需要受对方的影响,即解耦和。使用场景的话,举个例子
深入剖析Linux IO原理和几种零拷贝机制的实现
前言零拷贝(Zero-copy)技术指在计算机执行操作时,CPU不需要先将数据从一个内存区域复制到另一个内存区域,从而可以减少上下文切换以及CPU的拷贝时间。它的作用是在数据报从网络设备到用户程序空间传递的过程中,减少数据拷贝次数,减少系统调用,实现CPU的零参与,彻底消除CPU在这方面的负载。实现
跨越鸿沟——图数据库查询语言的八个先决条件
前奏去年12月,我在Quora上发表了一篇关于图数据库利弊的文章。在那里,我分享了市场上两个普遍存在的问题:图数据库应用开发人才匮乏,以及非标准化图查询语言减慢了最需要它的企业的采用步伐。解决这两个问题的方法是提供一种简单而强大的标准图数据库查询语言。市场上有许多图数据库语言,包括Neo4j的Cyp