ITPub博客

首页 > 大数据 > 可视化 > 教程:在Ubuntu 18.04.1上安装Elasticsearch

教程:在Ubuntu 18.04.1上安装Elasticsearch

翻译 可视化 作者:赵钰莹 时间:2018-08-24 15:47:44 0 删除 编辑

本文,我们将在Ubuntu 18.04.1上安装Elasticsearch,包括Logstash和Kibana,Elasticsearch是目前企业中被广泛使用的搜索和可视化数据工具。

准备工作

首先,我们从安装Ubuntu Server 18.04.1开始并运行所有更新。

在本文的实例中,作者创建一个具有8个vCPU,4 GB内存和200 GB驱动器空间的虚拟机,我还在内部DNS上设置了A记录,将记录主机设置为192.168.1.15。

在安装过程中,我将主机名设置为logging.admintome.lab并将静态IP设置为上述IP。

在Ubuntu Server安装完成后,我们需要安装所有更新。

apt update && apt upgrade -y

完成更新后,重新启动系统。

reboot

Elasticsearch需要安装Java SDK 8。

运行以下命令安装Java 8 SDK。

add-apt-repository ppa:webupd8team/java
apt install -y oracle-java8-set-default

你可以通过运行以下命令来验证是否成功安装了Java 8:

# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

我们现在准备下载并安装Elasticsearch。

安装Elasticsearch

我们将安装最新版本的Elasticsearch,本文选用的是6.3.2版本。

我们需要下载.DEB包。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.deb

完成下载后,使用DPKG进行安装:

dpkg -i elasticsearch-6.3.2.deb

安装完成后,打开/etc/elasticsearch/elasticsearch.yml并编辑此行:

# network.host: 192.168.0.1

取消注释并将IP设置为服务器地址:

network.host: 192.168.1.15

保存并退出该文件。

最后,启动并启用Elasticsearch服务。

systemctl enable elasticsearch.service
systemctl start elasticsearch.service

通过浏览以下网址验证一切是否正常:

http://<your-ip>:9200/_cat/health?v

你应该看到一个与此类似的页面:

我们可以看到节点状态为green,这证明一切正常。

接下来我们将安装Kibana,它将为我们提供图形化前端。

安装Kibana

我们将完全按照安装Elasticsearch的方式下载和安装Kibana。

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-amd64.deb
dpkg -i kibana-6.3.2-amd64.deb

接下来,打开/etc/kibana/kibana.yml并更新以下两行,必要时取消注释。

server.host: "192.168.1.15"
elasticsearch.url: "http://192.168.1.15:9200"

保存并退出。

配置JVM的VM堆大小。目前只需要这样做,所以我们不必重新启动。

重新启动后,将为我们配置此设置。

sysctl -w vm.max_map_count=262144

最后,启动并启用Kibana服务。

systemctl enable kibana.service
systemctl start kibana.service

浏览以下网址:

http://<your-ip>:5601

你会看到Kibana仪表板,如下图所示:

最后一步是安装Logstash。

安装Logstash

Logstash是将我们的数据放入Elasticsearch并使用Kibana显示的代理。

与其他应用程序一样,我们将以相同的方式下载和安装Logstash。

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.deb
dpkg -i logstash-6.3.2.deb

打开vim /etc/logstash/logstash.yml文件并更改此设置:

http.host: "192.168.1.15"

保存文件并退出。

启动并启用Logstash服务。

systemctl enable logstash.service
systemctl start logstash.service

现在安装了Logstash。 接下来,我们将使用FileBeat将一些数据放入Elasticsearch。

安装FileBeats

首先,让我们更改为logstash安装目录。

cd /usr/share/logstash/

运行以下命令以安装FileBeat Logstash插件:

bin/logstash-plugin install logstash-input-beats

现在我们将配置Logstash以接收FileBeat数据。

创建/etc/logstash/conf.d/beats.conf并添加以下内容。

input {
  beats {
    port => "5044"
  }
}
output {
  elasticsearch {
    hosts => ["192.168.1.15:9200"]
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

请务必在主机行中设置实际IP地址。

保存并退出该文件。

发送日志

在本教程中,我们将配置Elasticsearch服务器以发送日志,演示如何配置系统以将日志发送到服务器。

如果要配置从其他服务器发送日志,请在其他服务器上执行以下步骤。

首先,下载并安装FileBeat代理。

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-amd64.deb
dpkg -i filebeat-6.3.2-amd64.deb

接下来,我们需要配置它。

打开/etc/filebeat/filebeat.yml并将其配置为如下所示:

filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/*/*.log
output.logstash:
  hosts: ["192.168.1.15:5044"]

这将配置FileBeat以将日志从/ var / log /发送到端口5044上的Elasticsearch服务器(我们在上一节中配置的端口)。

启动并启用FileBeat服务。

systemctl enable filebeat.service
systemctl start filebeat.service

最后,我们需要将FileBeat模板安装到Kibana。如果使用FileBeat为多个服务器设置日志记录,则只需执行一次此操作。

filebeat setup --template -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'

等待几分钟让日志最终进入Elasticsearch,然后回到Kibana。

单击左侧的Management菜单项。

然后单击Index Patterns:



您应该看到列出了filebeat索引模式:

在filebeat- *索引模式类型中,如下图所示:


单击“下一步”按钮。

在下一步中,为Time Filter field name选择@timestamp。

最后,单击Create index pattern按钮。

单击左侧的“Discover ”菜单项,您将看到创建的日志:

按照相同步骤也可将其他系统的日志导入Elasticsearch / Kibana。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31077337/viewspace-2212771/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2016-03-28

  • 博文量
    234
  • 访问量
    563460