目 录CONTENT

文章目录

ELK相关笔记03-综合实践

cplinux98
2022-11-10 / 0 评论 / 0 点赞 / 7 阅读 / 793 字 / 正在检测是否收录...

00:文章简介

本文介绍了ELK一些综合实践:使用filebeat来获取nginx日志,将其输入到logstash中,logstash接收到数据后,定制显示格式,将其输入到elasticsearch中,kibana从elasticsearch中获取数据,并展示到界面。

01:实践流程效果图

1.1:需求简介

在我们的项目中,日志信息会输出到定制的目录里面了,那么接下来,我们就以nignx的日志数据为对象,
使用filebeat来获取这些日志,将其输入到logstash中,logstash接收到数据后,定制显示格式,
将其输入到elasticsearch中,kibana从elasticsearch中获取数据,并展示到当前界面

1.2:流程分析

1 nginx:
    开启日志
2 filebeat:
    input为nginx日志,output为logstash
3 logstash:
    input为filebeat,output为elasticsearch
4 kibana:
    根据定制的索引名称,从 elasticsearch中获取数据。

02:实践

2.1:环境还原

删除之前测试的index

# logstash节点
systemctl stop logstash

# filebeat节点
systemctl stop filebeat

# kibana节点
systemctl stop kibana

# 删除测试index
root@Filebeat:~# cat del.sh 
#!/bin/bash
for index in $(curl -s http://10.0.0.110:9200/_cat/indices | awk '{print $3}')
do
    curl -XDELETE 10.0.0.110:9200/$index
done

2.2:nginx配置

# filebeat节点
安装nginx
apt install nginx -y

tail -f /var/log/nginx/access.log

# other访问产生日志
curl 10.0.0.114
curl 10.0.0.114
curl 10.0.0.114

2.3:filebeat配置

# 备份配置文件
cd /etc/filebeat/
mkdir backup
cp filebeat.yml backup/filebeat.bak-20210824

# 修改配置文件
root@Filebeat:/etc/filebeat# grep -Env '#|^$' filebeat.yml
15:filebeat.inputs:
21:- type: log
24:  enabled: true
27:  paths:
28:    - /var/log/nginx/*.log
192:output.logstash:
194:  hosts: ["10.0.0.112:5044"]

# 启动filebeat
systemctl start filebeat

2.4:logstash配置

cd /etc/logstash/conf.d/
mkdir ../conf.bak
cp logstash.conf ../conf.bak/logstash.bak-20210824
root@Logstash:/etc/logstash/conf.d# cat logstash.conf 
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://10.0.0.110:9200"]
    index => "nginx-%{+YYYY.MM.dd}"
  }
}

# 启动
systemctl start logstash

2.5:elasticsearch查看效果

2.6:kibana配置

# kibana节点
systemctl start kibana
netstat -ntulp | grep 5601

添加数据方法2种方法:

2.6.1:添加数据

第一种:菜单栏==>【Analytics】>【Overview】>【Add your data】

第二种:菜单栏==>【management】>【Stack Management】>【Kibana】==>【Index Patterns】

2.6.2:配置索引

【Index pattern name】>【确认搜索的索引是否正确】>【Next step】

2.6.3:配置索引的时间段

【Time field】==>【Create index pattern】

2.6.4:确认数据

确认创建出来的数据准确

2.6.5:查看数据

菜单栏==>【Analytics】>【Discover】>查看数据

这里可以快速回到添加索引的位置

2.6.6:界面说明

2.6.7:创建一个新的filter

选择Add fiter 和在KQL中写message is 200 是一个效果

2.6.8:查看日志的具体信息

可以通过记录中的"展开"符号来看具体信息

0

评论区