-
编辑 删除
你可能需要的Kafka面试题与答案整理
你可能需要的Kafka面试题与答案整理
-
编辑 删除
【中间件】通过 docker-compose 快速部署 Kafka 保姆级教程
一、概述Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。Kafka常用
-
编辑 删除
Flink1.17 版本常见的 SQL 函数总结
今天分享几个Flink1.17新版本中常见的一些SQL函数的使用方式。1时间函数CURRENT_TIME()返回当前时间（时分秒）CURRENT_DATE()返回当前日期（年月日）LOCALTIME
-
编辑 删除
来这公司一年碰到的问题比我过去10年都多
无意间发现我们Kafka管理平台的服务的openfiles和CPU监控异常，如下图，有一台机器CPU和opfenfiles指标持续在高位，尤其是openfiles达到了4w+。原因分析第一反应是这个服务请求很高？但是这个服务是一个管理服务不应该有很高的请求量才对，打开监控一看，QPS少的可怜。既然机
-
编辑 删除
Flink SQL 在美团实时数仓中的增强与实践
全网全大数据面试提升手册！01FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5000+，在整个Flink作业中占比35%，同比增速达到了115%。SQL作业的快速增长给我们带来了许多新的问题和挑战，主要包括以下几点：SQL作业无法细粒度修改Sta
-
编辑 删除
我们从RabbitMQ迁移到了Kafka
历史原因，公司存在多个MQ同时使用的问题，我们中间件团队在去年下半年开始支持对Kafka和Rabbit能力的进行封装，初步能够完全支撑业务团队使用。鉴于在之前已经基本完全实施Kafka管控平台、以及Kafka集群迁移管控，我们基本可以认为团队对于Kafka的把控能力初具规模。因此，考虑到以下几点原因
-
编辑 删除
Redis 网络模型有多强 ？
如果面试官问我：Redis为什么这么快？我肯定会说：因为Redis是内存数据库！如果不是直接把数据放在内存里，甭管怎么优化数据结构、设计怎样的网络I/O模型，都不可能达到如今这般的执行效率。但是这么回答多半会让我直接回去等通知了。。。因为面试官想听到的就是数据结构和网络模型方面
-
编辑 删除
使用 Redis 遇到的 16 个坑！
今天跟大家聊一聊在使用Redis时，可能会踩到的「坑」。如果你在使用Redis时，也遇到过以下这些「诡异」的场景，那很大概率是踩到「坑」了：明明一个key设置了过期时间，怎么变成不过期了？使用O(1)复杂度的SETBIT命令，Redis竟然被OOM了？执行RANDOMKEY随机
-
编辑 删除
ShardingSphere分库分表schema名称导致NPE问题排查记录
前段时间把ShardingSphere升级到了5.1.1版本，奈何官方版本升级太快跟不上速度，这不近又发现了一个BUG。问题现象数据库做了分库分表，在需要查询多表数据进行merge的时候发生了一个NPE的异常。Causedby:java.lang.NullPointerExceptionatorg
-
编辑 删除
小白学 Kafka：初识Kafka
消息Kafka的数据单元称为消息，Kafka中的消息可以理解成关系数据库的一条记录。消息由字节数组组成，Kafka不关心消息数据里面的内容，对Kafka来说没有特殊的格式和含义。消息有一个可选的元数据，也就是键（key），键与消息数据一样也是字段数组，同样对于Kafka来说没有特殊的含义。键与可以像
-
编辑 删除
深入探索 Kafka 的 Broker 原理及可靠性机制
分布式系统中，为了提高可靠性，最常用、最有效的策略是“副本机制”，Kafka也不例外。Kafka为每个Partition维护了一个AR（AssignedReplicas）列表，由ISR（In-SyncReplicas，与Leader数据同步的Replica）和OSR（Outof-SyncReplic
