Kafka接入到Graylog5.1
Kafka接入到Graylog5.1
(图片点击放大查看)
一、Kafka单节点部署
1、安装JDK+kafka
yum install -y java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel.x86_64 java-1.8.0-openjdk-headless.x86_64
java -version
(图片点击放大查看)
(图片点击放大查看)
tar -zvxf kafka_2.13-3.5.1.tgz -C /opt
cd /opt
mv kafka_2.13-3.5.1 kafka
echo "export KAFKA_HOME=/opt/kafka" >> /etc/profile
echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> /etc/profile
source /etc/profile
2、启动kafka
zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties &
kafka-server-start.sh -daemon /opt/kafka/config/server.properties
(图片点击放大查看)
如果有开启防火墙，需要放通2181 9092端口
firewall-cmd --permanent --zone=public --add-port=2181/tcp
firewall-cmd --permanent --zone=public --add-port=9092/tcp
firewall-cmd --reload
(图片点击放大查看)
3、创建测试的topic并测试生产消费topic
kafka-console-producer.sh --topic security-events --bootstrap-server 192.168.31.222:9092
kafka-console-consumer.sh --topic security-events --from-beginning --bootstrap-server 192.168.31.222:9092
(图片点击放大查看)
二、Kafka接入到Graylog
1、新建Raw/Plaintext Kafka类型的Input
填入Bootstrap Servers、Zookeeper的IP地址与端口、Topic的正则表达式
(图片点击放大查看)
(图片点击放大查看)
Consumer group id根据实际情况填写
(图片点击放大查看)
(图片点击放大查看)
2、创建Stream用于单独获取Kafka Input的日志数据
(图片点击放大查看)
(图片点击放大查看)
3、最后的效果：查看Kafka接入的日志
(图片点击放大查看)
(图片点击放大查看)
原文作者：WalkingCloud；如有侵权，请联系管理员删除。
请登录后发表评论
登录
全部评论
最新文章
- GrayLog常见问题收录-FAQ篇
- 使用GraylogDataNode作为内置OpenSearch日志存储的GrayLog6.1.2一键安装脚本
- 开源日志平台GrayLog最新版本6.1.0的一键安装脚本
- GrayLog6.0.X通过yum方式升级到最新版本
- 专业强大好用的SSH终端/SFTP客户端工具-Xshell8+XFTP8免费版
- GrayLog对接DLP并实现数据安全告警单独发送给员工主管
- 国产免费NAS系统-飞牛私有云fnOS安装初体验
- 使用RR(Redpill Recovery)引导安装最新群晖NAS系统DSM7.2.1
- 开源日志平台GrayLog最新稳定版本6.0.5的一键安装脚本
- shell脚本+webhook实现联动一键联动删除异常大小的文件
