-
编辑 删除
为什么每一个爬虫工程师都应该学习 Kafka
这篇文章不会涉及到Kafka的具体操作，而是告诉你Kafka是什么，以及它能在爬虫开发中扮演什么重要角色。为什么每一个爬虫工程师都应该学习Kafkamp.weixin.qq.com一个简单的需求假设我们需要写一个微博爬虫，老板给的需求如下：开发爬虫对你来说非常简单，于是三下五除二你就把爬虫开发好了
-
编辑 删除
为什么每一个爬虫工程师都应该学习 Kafka
这篇文章不会涉及到Kafka的具体操作，而是告诉你Kafka是什么，以及它能在爬虫开发中扮演什么重要角色。为什么每一个爬虫工程师都应该学习Kafkamp.weixin.qq.com一个简单的需求假设我们需要写一个微博爬虫，老板给的需求如下：开发爬虫对你来说非常简单，于是三下五除二你就把爬虫开发好了
-
编辑 删除
使用生成器把Kafka写入效率提高1000倍
通过本文你会知道Python里面什么时候用yield最合适。本文不会给你讲生成器是什么，所以你需要先了解Python的yield，再来看本文。疑惑多年以前，当我刚刚开始学习Python协程的时候，我看到绝大多数的文章都举了一个生产者-消费者的例子，用来表示在生产者内部可以随时调用消费者，达到和多线程
-
编辑 删除
Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
上周六在深圳分享了《FlinkSQL1.9.0技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的Demo代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。希望对于FlinkSQL的初学者能有所帮助。完整分享可以观看Meetup视频回顾：https://developer.aliy
-
编辑 删除
kafka是如何做到百万级高并发低迟延的？
Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。Kafka到底是如何做到这么高的吞吐量和性能的呢？我们今天来走进kafka的server端探究一下它的Reactor高并发网络模型机制。1.1、K
-
编辑 删除
kafka是如何做到百万级高并发低迟延的？
Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。Kafka到底是如何做到这么高的吞吐量和性能的呢？我们今天来走进kafka的server端探究一下它的Reactor高并发网络模型机制。1.1、K
-
编辑 删除
kafka面试，看这一篇就够了
本文转自微信公众号：WeCoding,原文链接：https://mp.weixin.qq.com/s/zxPz_aFEMrshApZQ727h4gMQ（消息队列）是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结果的态度往往是重要不紧急。使用消息队列有以下好处：业务解耦、流量削峰、灵活扩展
-
编辑 删除
面试问：Kafka 为什么速度那么快？
一、写入数据1、顺序写入2、MemoryMappedFiles二、读取数据1、基于sendfile实现ZeroCopy2、批量压缩三、总结《Netty实现原理与源码解析——精品合集》《Spring实现原理与源码解析——精品合集》《MyBatis实现原理与源码解析——精品合集》《SpringMVC实现
-
编辑 删除
2019年这50个Kafka面试题，你知道答案么？
2019年这50个Kafka面试题，你知道答案么？小贴士：本文很长，如有收获，帮我点个关注，谢谢↓ApacheKafka对于新手的面试问题：41,42,43,44,45,47,49ApacheKafka对于有经验的人的面试问题：46,48ApacheKafka的受欢迎程度很高，Kafka拥有充足的就
-
编辑 删除
MQ(5) —— Nsq vs Kafka
NsqvsKafka正如之前说的，Nsq是一款极简的消息中间件，前面几讲，我们分别学习了：Nsq的几个组件：MQ（1）——从队列到消息中间件一条消息如何从生产到被消费：MQ(2)——一条消息是如何从生产到被消费的Nsq的一些细节实现：MQ(3)——刨根问底我们还尝试总结了如何设计一个靠谱的MQ：MQ
-
编辑 删除
什么是消息队列？
前言只有光头才能变强。文本已收录至我的GitHub仓库，欢迎Star：https://github.com/ZhongFuCheng3y/3y公司用到的很多技术，自己之前都没学过(尬)，于是只能慢慢补了。这次给大家写写我学习消息队列的笔记，希望对大家有帮助。一、什么是消息队列？消息队列不知道大家看到
-
编辑 删除
白瑜庆：知乎基于Kubernetes的kafka平台的设计和实现
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~本文首发在云+社区，未经许可，不得转载。我是知乎技术中台工程师，负责知乎存储相关的组件。我的分享主要基于三个，第一，简单介绍一下Kafka在知乎的应用，第二，为什么做基于Kubernetes的Kafka平台。第三，我们如何去实现基于Kuber
-
编辑 删除
胡夕：Apache Kafka监控与调优
胡夕，《ApacheKafka实战》作者，北航计算机硕士毕业，现任某互金公司计算平台总监，曾就职于IBM、搜狗、微博等公司。国内活跃的Kafka代码贡献者。前言虽然目前ApacheKafka已经全面进化成一个流处理平台，但大多数的用户依然使用的是其核心功能：消息队列。对于如何有效地监控和调优Kafk
-
编辑 删除
Kafka+Flink 实现准实时异常检测系统
1.背景介绍异常检测可以定义为“基于行动者（人或机器）的行为是否正常作出决策”，这项技术可以应用于非常多的行业中，比如金融场景中做交易检测、贷款检测；工业场景中做生产线预警；安防场景做入侵检测等等。根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时的结果分
-
编辑 删除
Kafka架构图
作者：Zarten知乎专栏：Python爬虫深入详解知乎ID：Zarten简介：互联网一线工作者，尊重原创并欢迎评论留言指出不足之处，也希望多些关注和点赞是给作者最好的鼓励！1.架构图如上图，一个kafka架构包括若干个Producer（服务器日志、业务数据、web前端产生的pageview等），若
-
编辑 删除
Kafka架构图
作者：Zarten知乎专栏：Python爬虫深入详解知乎ID：Zarten简介：互联网一线工作者，尊重原创并欢迎评论留言指出不足之处，也希望多些关注和点赞是给作者最好的鼓励！1.架构图如上图，一个kafka架构包括若干个Producer（服务器日志、业务数据、web前端产生的pageview等），若
-
编辑 删除
八年面试生涯，整理了一套Kafka面试题
1.Kafka的设计时什么样的呢？Kafka将消息以topic为单位进行归纳将向Kafkatopic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.producers通过
-
编辑 删除
Kafka入门简介
本文简单的介绍下kafka，主要包含以下部分：什么是KafkaKafka的基本概念Kafka分布式架构配置单机版Kafka实验一：kafka-python实现生产者消费者实验二：消费组实现容错性机制实验三：offset管理什么是KafkaKafka是一个分布式流处理系统，流处理系统使它可以像消息队列
-
编辑 删除
真的，Kafka 入门一篇文章就够了
一只Tom猫：手撕分布式技术：限流、通讯、缓存，全部一锅端走送给你！zhuanlan.zhihu.com一只Tom猫：BAT面试常问81题，不想来测试一下你的命中率？zhuanlan.zhihu.com初识Kafka什么是KafkaKafka是由Linkedin公司开发的，它是一个分布式的，支持
-
编辑 删除
kafka-python基本使用
作者：Zarten知乎专栏：Python爬虫深入详解知乎ID：Zarten简介：互联网一线工作者，尊重原创并欢迎评论留言指出不足之处，也希望多些关注和点赞是给作者最好的鼓励！kafka-python为ApacheKafka的python客户端。下面将介绍它的基本使用1.Kafka及ZooKeeper
