首页 > 大数据 > Hadoop > 大数据学习—Kafka的核心调优参数
随着大数据开发的发展,越来越多的人想要转行或者学习大数据开发这一块,工资和发展前景都让大家越来越看好。而 kafka 作为一个核心模块,是学习过程的一个要点知识,今天我们就一起来看一下关于 Kafka 的核心调优参数。

kafka 的配置属性多达几百个,在生产环境中对 kafka 进行调优时, 要如何设置 Kafka 的核心调优参数?在调优之前,我们要先分析业务场景,然后在吞吐量、延时、可靠性和可用性 4 个方面做权衡。
下面我们就从这四个方面来了解一下,从而逐一分析 kafka 应该设置哪些核心属性以及提供建议值。
1、 吞吐量优先
吞吐量优先意味着需要尽可能提升每秒发送消息的吞吐量
常见场景:日志收集
压缩类型为什么选择 lz4? 因为这种类型的压缩方式下,吞吐量最大。吞吐量优先时,会占用大量的网络带宽,如果不希望影响整个网络,可以设置配额。
2 、 低延时优先
低延是指 producer 开始发送消息到 consumer 接收到消息的时间差。低延时优先意味着每条消息需要尽可能快地完成端对端(从 producer 到 consumer )的传递
常见场景:近实时数据的传输、聊天、视频弹幕等应用
3 、可用性优先
提高可用性,就需要在 kafka 出现故障时,能够尽快地恢复。
acks 对吞吐量、延时和可靠性的影响

1、 可靠性优化
可靠性就是要降低丢失消息的概率。最常见的做法就是通过消息复制实现高可靠。
default.replication.factor 和 min.insync.replicas 的区别 default.replication.factor 是指分区的总的副本个数, min.insync.replicas 是指 ISR 列表中最少的在线副本的个数(含 leader ) , 当在线的副本个数小于 min.insync.replicas 时,生产者发送消息会失败。 default.replication.factor=3 , min.insync.replicas=2 表示消息总共有 3 个副本,当在线的副本大于或者等于 2 时,生产者可以继续发送消息,能够容忍 1 个备份不可用,否则不能发送消息。
以上就是关于 kafka 的核心调优参数内容了,希望对大家能有所帮助。 如果想了解更多详情,请点击成都加米谷大数据官网吧!
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70005624/viewspace-2794220/ ,如需转载,请注明出处,否则将追究法律责任。