Filebeat 是使用 Golang 实现的轻量型日志采集器，也是 Elasticsearch stack 里面的一员。
Filebeat本质上是一个 agent ，可以安装在各个节点上，根据配置读取对应位置的日志，并上报到相应的日志管理平台上去
平时接到将某一服务的日志接入到日志管理平台的需求
通常的做法都是：
在目标主机（即需要将日志接入到管理平台的服务器）上手动下载 filebeat 压缩包
将压缩包上传到目标主机
解压缩
执行安装脚本
这个过程不但需要人工操作，还比较耗时
如果目标主机后期有其他服务需要接入日志管理平台，还得手动修改配置文件
这个过程会有配置字段写错或者格式错误的风险
于是我打算写一个自动部署脚本
结合自动化运维工具——saltstack
以此来实现首次安装 filebeat 以及后续新增配置字段的自动化
首先在 salt-master 的家目录（一般是 /home/salt）创建一个 filebeat 目录，用来存放部署脚本以及配置文件模板
mkdir /home/salt/filebeat
append.sh：如果后面有新增服务需要接入日志，且目标主机已经安装filebeat，此脚本可以将新的配置字段写进配置文件里（需要下发给minio）
filebeat-7.1.1-linux-x86_64.tar.gz：filebeat安装包（需要下发给minio）
filebeat.yml：配置文件模板（需要下发给minio）
install.sls：部署脚本；里面有两个逻辑：1、首次安装；2、后续新增配置字段
完整脚本如下：
{% set PACKAGE = 'filebeat-7.1.1-linux-x86_64' %}{% set SERVICE_NAME = 'nginx' %}{% set LOG_PATH = '/var/log/nginx/access.log' %}{% set NEW_SERVICE_NAME = 'keepalived' %}{% set NEW_LOG_PATH = '/var/log/keepalived.log' %}filebeat_source:file.managed:- name: /tmp/{{PACKAGE}}.tar.gz- source: salt://filebeat/{{PACKAGE}}.tar.gz- onlyif:- cmd: rpm -qi filebeat && exit 127filebeat_extract:cmd.run:- cwd: /tmp- names:- tar zxf {{PACKAGE}}.tar.gz- require:- file: filebeat_source- unless:- test -d /tmp/{{PACKAGE}}filebeat_install:cmd.run:- cwd: /tmp/{{PACKAGE}}- names:- /bin/bash install.sh- require:- cmd: filebeat_extract- unless:- test -d /etc/filebeatcopy_yml:cmd.run:- cwd: /etc/filebeat- names:- mv filebeat.yml filebeat.yml.bak- require:- cmd: filebeat_install- unless:- test -e /etc/filebeat/filebeat.yml.bakfilebeat_yml:file.managed:- name: /etc/filebeat/filebeat.yml- source: salt://filebeat/filebeat.yml- require:- cmd: copy_yml- template: jinja- defaults:server_name: {{ SERVICE_NAME }}log_path: {{ LOG_PATH }}- unless:- test -e /etc/filebeat/filebeat.ymlfilebeat_start:cmd.run:- name: systemctl start filebeat- require:- file: filebeat_yml- unless:- systemctl status filebeatscript_source:file.managed:- name: /etc/filebeat/append.sh- source: salt://filebeat/append.sh- onlyif:- cmd: rpm -qi filebeat- unless:- test -e /etc/filebeat/append.shyml_append:cmd.run:- cwd: /etc/filebeat- names:- /bin/bash append.sh {{NEW_SERVICE_NAME}} {{NEW_LOG_PATH}}- require:- file: script_sourcefilebeat_restart:cmd.run:- name: systemctl restart filebeat- require:- cmd: yml_append
我们分别来看一下
append.sh
我们先来看一下append.sh
append.sh脚本实现的功能就是判断新增的服务在配置文件里面是否存在，如果不存在的话就添加到配置文件里去，如果存在则不做任何操作
首先对传进来的第一个参数——新增的服务标识进行 grep 过滤，来看一下当前配置文件里面是否有要新增的字段
$?表示执行grep $1 filebeat.yml返回的状态码，如果返回0则表示字段存在，返回非0表示字段不存在
grep $1 filebeat.yml接着是一个条件判断：
1、如果配置文件里没有该服务标识（代表是新增的，状态码返回0），则使用 sed 将内容写入配置文件里面
（ $1表示传入shell脚本的第一个参数——服务标识，$2表示传入shell脚本的第一个参数——服务对应的完整日志路径）
2、如果配置文件里有该服务标识（代表是以前就有的，状态码返回非0），则输出提示语
if [ $? -eq 0 ]thenecho "service is alreadty exist!"elsesed -i '/filebeat.inputs:/a\- type: log\enabled: true\encoding: utf-8\tail_files: false\paths:\- '${2}'\fields:\log_topic: '${1}'\' filebeat.ymlfi
完整脚本如下：
#!/bin/bashgrep $1 filebeat.ymlif [ $? -eq 0 ]thenecho "service is alreadty exist!"elsesed -i '/filebeat.inputs:/a\- type: log\enabled: true\encoding: utf-8\tail_files: false\paths:\- '${2}'\fields:\log_topic: '${1}'\' filebeat.ymlfi
install.sls
install.sls里面有两个功能逻辑：首次安装部署和后续新增配置
1、首次部署filebeat并修改filebeat配置文件，将需要监控的服务配置字段添加进去
2、后续有新增服务需要接入日志，则将服务标识和对应日志路径添加到filebeat配置文件里
脚本开头定义了五个变量，方便我们后续维护
{% set PACKAGE = 'filebeat-7.1.1-linux-x86_64' %}{% set SERVICE_NAME = 'nginx' %}{% set LOG_PATH = '/var/log/nginx/access.log' %}{% set NEW_SERVICE_NAME = 'keepalived' %}{% set NEW_LOG_PATH = '/var/log/keepalived.log' %}
首次安装：
PACKAGE：filebeat安装包
SERVICE_NAME：服务标识
LOG_PATH：服务对应日志
后续新增：
NEW_SERVICE_NAME：新增的服务标识 -
NEW_LOG_PATH：新增的服务对应日志
执行首次安装部署逻辑
filebeat_source:file.managed:- name: /tmp/{{PACKAGE}}.tar.gz- source: salt://filebeat/{{PACKAGE}}.tar.gz- onlyif:- cmd: rpm -qi filebeat && exit 12
PS：注意这里
- onlyif:- cmd: rpm -qi filebeat && exit 127
这段字段逻辑是在目标主机执行rpm -qi filebeat语句，检查是否已经安装过filebeat，如果没有安装则返回一个非0的状态码（这里我设成返回127）
然后onlyif字段是指返回非0就执行filebeat_source:对应的内容，返回0就不执行
又因为下面的语句是依赖于filebeat_source的，所以如果目标主机安装了filebeat，就不会执行filebeat_source语句，也不会执行后面所依赖的语句
完整脚本如下：
filebeat_source:file.managed:- name: /tmp/{{PACKAGE}}.tar.gz- source: salt://filebeat/{{PACKAGE}}.tar.gz- onlyif:- cmd: rpm -qi filebeat && exit 127filebeat_extract:cmd.run:- cwd: /tmp- names:- tar zxf {{PACKAGE}}.tar.gz- require:- file: filebeat_source- unless:- test -d /tmp/{{PACKAGE}}filebeat_install:cmd.run:- cwd: /tmp/{{PACKAGE}}- names:- /bin/bash install.sh- require:- cmd: filebeat_extract- unless:- test -d /etc/filebeatcopy_yml:cmd.run:- cwd: /etc/filebeat- names:- mv filebeat.yml filebeat.yml.bak- require:- cmd: filebeat_install- unless:- test -e /etc/filebeat/filebeat.yml.bakfilebeat_yml:file.managed:- name: /etc/filebeat/filebeat.yml- source: salt://filebeat/filebeat.yml- require:- cmd: copy_yml- template: jinja- defaults:server_name: {{ SERVICE_NAME }}log_path: {{ LOG_PATH }}- unless:- test -e /etc/filebeat/filebeat.ymlfilebeat_start:cmd.run:- name: systemctl start filebeat- require:- file: filebeat_yml- unless:- systemctl status filebeat
执行后续新增逻辑
我们来看下后续新增脚本的逻辑
script_source:file.managed:- name: /etc/filebeat/append.sh- source: salt://filebeat/append.sh- onlyif:- cmd: rpm -qi filebeat- unless:- test -e /etc/filebeat/append.sh
开始执行之前会先在目标主机上执行rpm -qi filebeat语句，如果存在返回0，就会执行后面的语句
完整脚本如下:
script_source:file.managed:- name: /etc/filebeat/append.sh- source: salt://filebeat/append.sh- onlyif:- cmd: rpm -qi filebeat- unless:- test -e /etc/filebeat/append.shyml_append:cmd.run:- cwd: /etc/filebeat- names:- /bin/bash append.sh {{NEW_SERVICE_NAME}} {{NEW_LOG_PATH}}- require:- file: script_sourcefilebeat_restart:cmd.run:- name: systemctl restart filebeat- require:- cmd: yml_append
原文作者：咸鱼运维杂谈；如有侵权，请联系管理员删除。
