ITPub博客

你可能需要的Kafka面试题与答案整理

一、概述Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。Kafka常用

今天分享几个Flink1.17新版本中常见的一些SQL函数的使用方式。1时间函数CURRENT_TIME()返回当前时间（时分秒）CURRENT_DATE()返回当前日期（年月日）LOCALTIME

无意间发现我们Kafka管理平台的服务的openfiles和CPU监控异常，如下图，有一台机器CPU和opfenfiles指标持续在高位，尤其是openfiles达到了4w+。原因分析第一反应是这个服务请求很高？但是这个服务是一个管理服务不应该有很高的请求量才对，打开监控一看，QPS少的可怜。既然机

全网全大数据面试提升手册！01FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5000+，在整个Flink作业中占比35%，同比增速达到了115%。SQL作业的快速增长给我们带来了许多新的问题和挑战，主要包括以下几点：SQL作业无法细粒度修改Sta

历史原因，公司存在多个MQ同时使用的问题，我们中间件团队在去年下半年开始支持对Kafka和Rabbit能力的进行封装，初步能够完全支撑业务团队使用。鉴于在之前已经基本完全实施Kafka管控平台、以及Kafka集群迁移管控，我们基本可以认为团队对于Kafka的把控能力初具规模。因此，考虑到以下几点原因

如果面试官问我：Redis为什么这么快？我肯定会说：因为Redis是内存数据库！如果不是直接把数据放在内存里，甭管怎么优化数据结构、设计怎样的网络I/O模型，都不可能达到如今这般的执行效率。但是这么回答多半会让我直接回去等通知了。。。因为面试官想听到的就是数据结构和网络模型方面

今天跟大家聊一聊在使用Redis时，可能会踩到的「坑」。如果你在使用Redis时，也遇到过以下这些「诡异」的场景，那很大概率是踩到「坑」了：明明一个key设置了过期时间，怎么变成不过期了？使用O(1)复杂度的SETBIT命令，Redis竟然被OOM了？执行RANDOMKEY随机

前段时间把ShardingSphere升级到了5.1.1版本，奈何官方版本升级太快跟不上速度，这不近又发现了一个BUG。问题现象数据库做了分库分表，在需要查询多表数据进行merge的时候发生了一个NPE的异常。Causedby:java.lang.NullPointerExceptionatorg

消息Kafka的数据单元称为消息，Kafka中的消息可以理解成关系数据库的一条记录。消息由字节数组组成，Kafka不关心消息数据里面的内容，对Kafka来说没有特殊的格式和含义。消息有一个可选的元数据，也就是键（key），键与消息数据一样也是字段数组，同样对于Kafka来说没有特殊的含义。键与可以像

分布式系统中，为了提高可靠性，最常用、最有效的策略是“副本机制”，Kafka也不例外。Kafka为每个Partition维护了一个AR（AssignedReplicas）列表，由ISR（In-SyncReplicas，与Leader数据同步的Replica）和OSR（Outof-SyncReplic

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本文整理自美团实时数仓平台负责人姚冬阳在FlinkForwardAsia2021实时数仓专场的演讲。主要内容包括：平台建设现状遇到的问题及解决未来规划Tips：点击「阅读原文」查看原文视频&PPT～01平台建设现状美团于2018年

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本文整理自网易游戏开发工程师林小铂在FlinkForwardAsia2021平台建设专场的演讲。主要内容包括：网易游戏FlinkSQL发展历程基于模板jar的StreamflySQLv1基于SQLGateway的StreamflySQLv

经常有人问我有个xx需求，我应该用Kafka还是RabbitMQ？这个问题很常见，而且很多人对二者的选择也把握不好。所以我决定写篇文章来详细说一下：Kafka和RabbitMQ的区别，适用于什么场景？同时，这个问题在面试中也经常问到。下面我会通过6个场景，来对比分析一下Kafka和RabbitMQ的

前言日常开发中，秒杀下单、抢红包等等业务场景，都需要用到分布式锁。而Redis非常适合作为分布式锁使用。本文将分七个方案展开，跟大家探讨Redis分布式锁的正确使用方式。如果有不正确的地方，欢迎大家指出哈，一起学习一起进步。公众号：「捡田螺的小男孩」什么是分布式锁方案一：SETNX+EXPIRE方案

『码哥』的Redis系列文章有一篇讲透了Redis的性能优化——《Redis核心篇：唯快不破的秘密》。深入地从IO、线程、数据结构、编码等方面剖析了Redis“快”的内部秘密。65哥深受启发，在学习Kafka的过程中，发现Kafka也是一个性能十分的中间件，遂要求『码哥』讲一讲Kafka性能优化

点击上方"华仔聊技术"右上角选择设为星标硬核技术文章不会错过！阅读本文大约需要30分钟。大家好，我是华仔,又跟大家见面了。从今天开始我将以「Kafka2.7」版本为主，通过「场景驱动」的方式带大家一点点的对Kafka源码进行深度剖析，正式开启「Kafka的源码之旅」，跟我一起来掌握Kafka源码核心

vivo互联网服务器团队-YouShuo副本迁移是Kafka高频的操作，对于一个拥有几十万个副本的集群，通过人工去完成副本迁移是一件很困难的事情。CruiseControl作为Kafka的运维工具，它包含了Kafka服务上下线、集群内负载均衡、副本扩缩容、副本缺失修复以及节点降级等功能。显然，Cr

点击上方“中间件兴趣圈”，选择“设为星标”越努力越幸运，唯有坚持不懈！以前我在知其然而知其所以然，为什么Kafka在2.8版本中会“抛弃”Zookeeper一文中阐述了为什么官方要废弃Zookeeper，当时我记得有读者反驳说zookeeper非常稳定，基本不会出现什么问题，笔者在双十一期间遇到的问

摘要：本文整理自字节跳动基础架构工程师，ApacheFlinkContributor马越在FlinkForwardAsia2021平台建设专场的演讲。主要内容包括：背景StateProcessorAPI介绍StateMetaSnapshot机制StateasDatabase使用FlinkBatchS