ELK

基于filebeat实现日志采集

filebeat 概述

filebeat 基于 golang语言开发所以无需配置Java环境以及JDK等，性能非常出色，并且占用空间也非常小
但是相对logstash过滤的条件较少，只适合一些对数据收集格式要求不高的场景
可以通过将filebeat收集的数据转交给logstash来进行处理，以达到需要的格式等需求
还可以将输出转发给redis、kafka等应用进行下一步处理

filebeat 安装

国内镜像下载地址：https://mirrors.tuna.tsinghua.edu.cn/elasticstack/yum/elastic-7.x/7.16.3/filebeat-7.16.3-x86_64.rpm

#直接安装即可
rpm -iv filebeat-7.16.3-x86_64.rpm

filebeat 核心配置说明

官方文档：https://www.elastic.co/guide/en/beats/filebeat/index.html
filebeat的配置文件为YAML格式，此格式对缩进非常严格，配置的时候要格外注意

inputs 配置

定义输入的文件
官方文档：https://www.elastic.co/guide/en/beats/filebeat/7.16/configuration-filebeat-options.html

# /etc/filebeat/filebeat.yml

# ============================== Filebeat inputs ===============================
filebeat.inputs:
- type: log #输入的类型，只能使用官方指定的类型，不能自定义，如：log、redis、tcp等，详情参阅官方文档的 input types
  enabled: true #是否启用，false不启用，true启用
  paths:
    - /var/log/messages #指定输入的文件
    #- /var/log/boot.log #可以指定多个文件
    #- /var/log/*.log #匹配/var/log/下的所有以.log结尾的文件
  #exclude_lines: ['^DBG'] #排除输入文件中的以 DBG开头的行
  #include_lines: ['^ERR', '^WARN'] #不排除输入文件中的以 ERR WARN开头的行
  #prospector.scanner.exclude_files: ['.gz$'] #排除以.gz结尾的文件
  fields: #定义用于后续过滤的字段
    type: system_log #添加过滤信息，此处type可以按需指定，如：app_id: query_engine_12

Outputs 配置

output.elasticsearch

输出到 Elasticsearch

# /etc/filebeat/filebeat.yml

output.elasticsearch:
  hosts: ["10.0.0.123:9200"] #es地址和端口，通常都是直接指向负载均衡
  #protocol: "https" #指定协议类型，不指定则默认为http

output.logstash

输出到 Logstash

# /etc/filebeat/filebeat.yml

#output.logstash:
  # The Logstash hosts
  #hosts: ["localhost:5044"]

  # Optional SSL. By default is off.
  # List of root certificates for HTTPS server verifications
  #ssl.certificate_authorities: ["/etc/pki/root/ca.pem"]

  # Certificate for SSL client authentication
  #ssl.certificate: "/etc/pki/client/cert.pem"

  # Client Certificate Key
  #ssl.key: "/etc/pki/client/cert.key"

output.file

输出到文件，通常用于测试

基于logstash实现日志采集

收集日志前注意事项

Logstash安装后必须以root身份启动，否则对没有权限的日志将无法进行收集

# vim /etc/systemd/system/logstash.service
...
[Service]
...
User=root
Group=root
...

# systemctl daemon-reload

# systemctl enable --now logstash.service

添加索引信息并重启服务后，如果没有发现索引信息，则需着重检查对应的日志文件是否存在 并且文件中是否有内容 文件没有内容也会导致找不到索引信息

系统日志

需要在被监控的主机上安装Logstash

Logstash配置

# vim /etc/logstash/conf.d/sys_log.conf

input  {
  file {
    path => "/var/log/syslog"
    type => "system-log"
    start_position => "beginning"
    stat_interval => "3"
    }
}

output {
  if [type] == "system-log" {  #如果 type 为 system-log 则将信息写到此段中的 index 中
  elasticsearch {
    hosts => ["10.0.0.100"]
    index => "logstash-system-log-%{+YYYY.MM}" #系统日志通常每周或每月生成一次即可，这里表示每月，周：%{+YYYY.ww}
  }}
}

检查Logstash配置文件语法

root@logstash:~# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/sys_log.conf -t

#提示此行即表示成功
[INFO ] 2021-10-15 15:53:33.231 [LogStash::Runner] runner - Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

Kibana界面配置

定义索引

Management –> stack management –> 索引模式
名称
- 如：logstash-system-log-*（这样可以匹配所有时间段的索引）
时间戳字段
- timestamp
创建索引模式

查看索引

Discover

测试

尝试在日志中输入一段代码然后查看是否在web界面中展示

echo 'test code' >> /var/log/syslog

Tomcat 日志

需要在被监控的主机上安装Logstash
**注意：**如果多台tomcat属于同一个项目或应用，一般都是使用同一个索引类型，方便管理

Tomcat 配置

修改tomcat日志格式，将输出格式修改为json格式

# vim /apps/tomcat/conf/server.xml
...
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="tomcat_access_log" suffix=".log"
               pattern="{&quot;client&quot;:&quot;%h&quot;,  &quot;client user&quot;:&quot;%l&quot;,   &quot;authenticated&quot;:&quot;%u&quot;,   &quot;access time&quot;:&quot;%t&quot;,     &quot;method&quot;:&quot;%r&quot;,   &quot;status&quot;:&quot;%s&quot;,  &quot;send bytes&quot;:&quot;%b&quot;,  &quot;Query?string&quot;:&quot;%q&quot;,  &quot;partner&quot;:&quot;%{Referer}i&quot;,  &quot;Agent version&quot;:&quot;%{User-Agent}i&quot;}"/>
...

Logstash配置

# vim /etc/logstash/conf.d/tomcat_log.conf
input {
    file {
        path => "/apps/tomcat/logs/tomcat_access_log*"
        type => "tomcat-access-log"
        start_position => "beginning"
        stat_interval => "3"
        codec => json
    }
}

output {
    if [type] == "tomcat-access-log" {
        elasticsearch {
            hosts => ["10.0.0.101"] #输出的 elasticsearch 主机IP地址，如果存在多台es主机，可以选择不同的es地址
            index => "logstash-tomcat-app1-access-log-%{+YYYY.MM.dd}" #索引输出格式，如属同一个项目，一般都是使用同一个索引类型，方便管理
        }
    }
}

检查Logstash配置文件语法

root@logstash:~# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/tomcat_log.conf -t

#提示此行即表示成功
[INFO ] 2021-10-15 15:53:33.231 [LogStash::Runner] runner - Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

Kibana界面配置

定义索引

Management –> stack management –> 索引模式
名称
- 如：logstash-tomcat-app1-access-log-*（这样可以匹配所有时间段的索引）
时间戳字段
- timestamp
创建索引模式

查看索引

Discover

Java 日志

Java日志通常都是以 [ 开头，设置匹配时以每行 [ 开头即可

基于rsyslog实现日志采集

通过rsyslog收集haproxy日志

rsyslog和haproxy在同一主机，logstash在其他主机，rsyslog收集日志后指定logstash的IP和端口通过网络发送给logstash，再由logstash发送给es

haproxy配置

[root@haproxy ~]# vim /apps/haproxy/etc/haproxy.cfg
global
...
    log         127.0.0.1 local2 #记录到本地的local2
...

rsyslog配置

[root@haproxy ~]# vim /etc/rsyslog.conf
...
module(load="imudp") #加载imudp模块
input(type="imudp" port="514") #打开基于udp收集日志，也可以基于tcp收集
...
local2.*   /var/log/haproxy.log #收集local2的所有类型日志到本机的指定文件
local2.*   @@10.0.0.100:516 #rsyslog通过网络发送给远程主机
...


#重启服务
[root@haproxy ~]# systemctl restart rsyslog.service


#观察514端口是否开启
[root@haproxy ~]# ss -nul|grep 514
UNCONN    0         0                  0.0.0.0:514              0.0.0.0:*  


#重启haproxy查看是否有日志产生
[root@haproxy ~]# systemctl restart haproxy.service
[root@haproxy ~]# tail -f /var/log/haproxy.log
Mar 17 15:42:16 localhost haproxy[1689]: Proxy stats started.
Mar 17 15:42:16 localhost haproxy[1689]: Proxy tomcat-server started.
Mar 17 15:42:17 localhost haproxy[1695]: Server tomcat-server/10.0.0.28 is DOW
...

测试收集

logstash配置

root@es-node1:~# vim /etc/logstash/conf.d/rsyslog.conf
input {
    syslog {
        type => "listen-rsyslog"
        port => 516
    }
}

output {
    if [type] == "listen-rsyslog" {
        stdout {
            codec => "rubydebug"
        }
    }
}

前台运行logstash进行测试

#需要先停止logstash服务
root@es-node1:~# systemctl stop logstash.service

#前台启动
root@es-node1:~# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/rsyslog.conf

#查看端口是否开启（使用syslog会同时开启tcp和udp两个端口）
root@es-node1:~# ss -ntul|grep 516

使用nc工具测试

[root@haproxy ~]# echo 'nc test' | nc 10.0.0.100 516

#结果
[INFO ] 2022-03-17 09:23:22.924 [Ruby-0-Thread-19: :1] syslog - new connection {:client=>"10.0.0.18:57182"}
{
          "severity" => 0,
           "message" => "nc test\n",
    "severity_label" => "Emergency",
              "host" => "10.0.0.18",
              "tags" => [
        [0] "_grokparsefailure_sysloginput"
    ],
              "type" => "listen-rsyslog",
        "@timestamp" => 2022-03-17T09:23:22.984Z,
          "priority" => 0,
          "@version" => "1",
    "facility_label" => "kernel",
          "facility" => 0
}

使用伪设备测试

#tcp测试
[root@haproxy ~]# echo '伪设备 tcp test' > /dev/tcp/10.0.0.100/516
#结果
[INFO ] 2022-03-17 09:28:36.847 [Ruby-0-Thread-21: :1] syslog - new connection {:client=>"10.0.0.18:58538"}
{
          "severity" => 0,
           "message" => "伪设备 tcp test\n",
    "severity_label" => "Emergency",
              "host" => "10.0.0.18",
              "tags" => [
        [0] "_grokparsefailure_sysloginput"
    ],
              "type" => "listen-rsyslog",
        "@timestamp" => 2022-03-17T09:28:36.852Z,
          "priority" => 0,
          "@version" => "1",
    "facility_label" => "kernel",
          "facility" => 0
}
     
------------------------------------------------------------------------------
          
#udp测试
[root@haproxy ~]# echo '伪设备 udp test' > /dev/udp/10.0.0.100/516
#结果
{
          "severity" => 0,
           "message" => "伪设备 udp test\n",
    "severity_label" => "Emergency",
              "host" => "10.0.0.18",
              "tags" => [
        [0] "_grokparsefailure_sysloginput"
    ],
              "type" => "listen-rsyslog",
        "@timestamp" => 2022-03-17T09:28:56.833Z,
          "priority" => 0,
          "@version" => "1",
    "facility_label" => "kernel",
          "facility" => 0
}

重启haproxy生成日志查看是否能接受到日志

[root@haproxy ~]# systemctl restart haproxy.service

#haproxy接受到的日志
[root@haproxy ~]# tail -f /var/log/haproxy.log
Mar 17 17:29:32 localhost haproxy[2472]: Proxy stats started.
Mar 17 17:29:32 localhost haproxy[2472]: Proxy tomcat-server started.
Mar 17 17:29:33 localhost haproxy[2474]: Server tomcat-server/10.0.0.28 is DOWN, reason: Layer4 connection problem, info: "No route to host", check duration: 639ms. 2 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.

#logstash端接受到的日志
[INFO ] 2022-03-17 09:29:33.581 [Ruby-0-Thread-22: :1] syslog - new connection {:client=>"10.0.0.18:58790"}
{
          "severity" => 1,
           "message" => "Server tomcat-server/10.0.0.28 is DOWN, reason: Layer4 connection problem, info: \"No route to host\", check duration: 639ms. 2 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.\n",
    "severity_label" => "Alert",
              "host" => "10.0.0.18",
         "logsource" => "localhost",
              "type" => "listen-rsyslog",
        "@timestamp" => 2022-03-17T17:29:33.000Z,
          "priority" => 145,
               "pid" => "2474",
         "timestamp" => "Mar 17 17:29:33",
           "program" => "haproxy",
          "@version" => "1",
    "facility_label" => "local2",
          "facility" => 18
}
{
          "severity" => 1,
           "message" => "Server tomcat-server/10.0.0.28 is DOWN, reason: Layer4 connection problem, info: \"No route to host\", check duration: 639ms. 2 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.\n",
    "severity_label" => "Alert",
              "host" => "10.0.0.18",
         "logsource" => "localhost",
              "type" => "listen-rsyslog",
        "@timestamp" => 2022-03-17T17:29:33.000Z,
          "priority" => 145,
               "pid" => "2476",
         "timestamp" => "Mar 17 17:29:33",
           "program" => "haproxy",
          "@version" => "1",
    "facility_label" => "local2",
          "facility" => 18
}
...

正式收集

收集有问题，使用接受标准输入进行测试可以受到haproxy rsyslog的日志，但是写入到es中 es无显示

logstash配置

使用rsyslog插件实现日志收集
logstash可以不与haproxy或rsyslog在同一主机
因为是从远端的rsyslog接受的日志，所以并不支持从头读取日志，需要想其他办法

root@es-node1:~# vim /etc/logstash/conf.d/rsyslog.conf

input {
    syslog {
        type => "listen-rsyslog"
        port => 516 #本机开启516端口监听rsyslog发送过来的日志
    }
}

output {
    if [type] == "listen-rsyslog" {
        elasticsearch {
            hosts => ["10.0.0.101"]
            index => "haproxy-rsyslog-%{+YYYY.MM.dd}"
        }
    }
}

重启服务并观察端口是否开启

root@es-node1:~# systemctl restart logstash.service 
root@es-node1:~# ss -ntul|grep 516
LISTEN  0       50                        *:516                *:*

使haproxy生成日志

重启haproxy以生成新的日志，因为使用的是基于rsyslog发送日志，所以追加信息无效
生产中谨慎重启

[root@haproxy ~]# systemctl restart haproxy.service

Kibana界面配置

定义索引

Management –> stack management –> 索引模式
名称
- 如：
  - haproxy-rsyslog-*
时间戳字段
- timestamp
创建索引模式

查看索引

Discover

基于tcp或udp实现日志采集

通过 TCP/UDP 收集日志

通过 logstash 的 tcp/udp 插件收集日志
通常用于在向 elasticsearch 补录丢失的日志，其实就是将丢失的日志写到一个文件，然后通过 tcp 日志收集方式直接发送给装有logstash的机器，然后这台机器再将接受到的数据写入elasticsearch，补录日志的服务器可以装logstash，也可以不安装直接通过nc等网络工具将数据传送给装有logstash的服务器，再由其将之转发
当然补录日志的方法还有很多种
官方文档：https://www.elastic.co/guide/en/logstash/7.16/plugins-inputs-tcp.html

测试收集

logstash配置

# vim /etc/logstash/conf.d/tcp.conf

input {
    tcp {
        port => 1998
        type => "tcp-log"
        mode => "server"
    }
}

output{
    stdout {
        codec => "rubydebug"
    }
}

前台启动测试

#需要先停止logstash服务
systemctl stop logstash.service

#前台启动
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/tcp.conf

检查端口是否开启

# ss -ntl|grep 1998
LISTEN  0       1024                      *:1998               *:*

通过nc命令发送数据进行测试

可以在其他服务器上安装nc命令进行测试
nc又称网络界的瑞士军刀，可以通过tcp、udp等协议进行数据传输，另外还有很多其他功能

#安装nc
yum -y install nc

#测试数据发送

返回结果

{
          "port" => 38796,
          "host" => "10.0.0.8",
       "message" => "test nc",
    "@timestamp" => 2022-03-17T06:38:48.814Z,
      "@version" => "1",
          "type" => "tcp-log"
}

通过伪设备的方式发送数据进行测试

在类 Unix 操作系统中，块设备有硬盘、内存等硬件，但是还有的设备并没有对应的物理设备，这种设备就称之伪设备
常见伪设备
- /dev/random
- /dev/urandom
- /dev/null
- /dev/zero
- /dev/tcp（看不到但实际存在）
- /dev/udp（看不到但实际存在）
- …

echo "伪设备" >  /dev/tcp/10.0.0.100/1998

返回结果

{
          "port" => 38800,
          "host" => "10.0.0.8",
       "message" => "伪设备",
    "@timestamp" => 2022-03-17T06:40:25.405Z,
      "@version" => "1",
          "type" => "tcp-log"
}

正式收集

logstash配置

将输入改为elasticsearch

# vim /etc/logstash/conf.d/tcp.conf

input {
    tcp {
        port => 1998
        type => "tcp-log"
        mode => "server"
    }
}

output {
    if [type] == "tcp-log" {
        elasticsearch {
            hosts => ["10.0.0.101"]
            index => "tcp-log-%{+YYYY.MM.dd}"
        }
    }
}

启动logrotate

systemctl start logstash.service

检查端口是否开启

# ss -ntl|grep 1998
LISTEN  0       1024                      *:1998               *:*

输入信息

cat /etc/passwd >  /dev/tcp/10.0.0.100/1998

Kibana界面配置

定义索引

Management –> stack management –> 索引模式
名称
- 如：
  - tcp-log-*
时间戳字段
- timestamp
创建索引模式

查看索引

Discover

通过nginx实现安全访问和高可用

前言

在生产中，通常不是直接访问Kibana，而是通过nginx或haproxy等反向代理应用来进行访问
Kibana为了容错，通常在每台Elasticsearch安装一个，这样即使一台Kibana出现问题，nginx或haproxy就会发现，进而将请求调度到其他的Kibana主机上
其他应用收集来的日志信息，也并不是直接发送给Elasticsearch，而是发送给负载均衡，再由负载均衡将信息交给Elasticsearch，这样即使Elasticsearch主机的IP发生变化，也无需在每台Logstash修改指向的Elasticsearch地址，只需在负载均衡上修改即可

注意事项

nginx在中间充当反向代理时，因为kibana与es的交互过多，所以产生的大量的日志，生产中可以考虑将nginx的日志关掉，或者定期进行清理
配置完反向代理后，Kibana和logstash所指向的节点应为nginx的VIP

通过nginx代理实现Kibana的安全访问

Elasticsearch + Kibana + nginx 主机配置

Elasticsearch配置

省略…

Kibana配置

安装后，无需任何配置，让其监听默认的localhost

root@es-node1:~# vim /etc/kibana/kibana.yml 
#以下两项为默认值，及默认值监听在本地主机
#server.port: 5601
#server.host: "localhost
...

#启动kibana 并设为开机自启动
root@es-node1:~# systemctl enable --now kibana.service 

#观察端口是否开启
root@es-node1:~# ss -ntl|grep 5601
LISTEN   0        511            127.0.0.1:5601          0.0.0.0:*

nginx配置

使用nginx将访问kibana的请求转发到本机的127.0.0.1:5601，并加上账号密码的安全验证，防止恶意访问进行删除Elasticsearch索引数据等操作
安装过程省略…

生成密码

#Centos安装包
yum -y install httpd-tools
#Ubuntu安装包
apt -y install apache2-utils

#创建用户并非交互式创建密码，-c创建新的文件，-b非交互式
root@es-node1:~# htpasswd -cb /apps/nginx/conf/.htpasswd user1 666666
Adding password for user user1

#需要创建第二个用户时，不要加-c，否则会清空之前的内容
root@es-node1:~# htpasswd -b /apps/nginx/conf/.htpasswd user2 888888
Adding password for user user2

#查看密码文件是否生成
root@es-node1:~# ll /apps/nginx/conf/.htpasswd 
-rw-r--r-- 1 root root 88 Mar 18 17:30 /apps/nginx/conf/.htpasswd
root@es-node1:~# cat /apps/nginx/conf/.htpasswd
user1:$apr1$SE8LxZ2D$yhGBW1WGrHyLPwcCnuCoy1
user2:$apr1$jLkHg9PS$7.oEVTwmdlKg0NrFlRYYX1

修改nginx配置文件

[root@centos8 ~]# vim /apps/nginx/conf/conf.d/pc.conf
server {
...
    location / {
        proxy_pass http://127.0.0.1:5601; #转发到本机
        auth_basic "please login"; #指定登录提示语
        auth_basic_user_file /apps/nginx/conf/.htpasswd; #指定账号密码文件
    }
...    
}

ELK

基于filebeat实现日志采集

filebeat 概述

filebeat 安装

filebeat 核心配置说明

inputs 配置

Outputs 配置

output.elasticsearch

output.logstash

output.file

基于logstash实现日志采集

收集日志前注意事项

系统日志

Logstash配置

检查Logstash配置文件语法

Kibana界面配置

定义索引

查看索引

测试

Tomcat 日志

Tomcat 配置

Logstash配置

检查Logstash配置文件语法

Kibana界面配置

定义索引

查看索引

Java 日志

基于rsyslog实现日志采集

通过rsyslog收集haproxy日志

haproxy配置

rsyslog配置

测试收集

logstash配置

前台运行logstash进行测试

使用nc工具测试

使用伪设备测试

重启haproxy生成日志查看是否能接受到日志

正式收集

logstash配置

重启服务并观察端口是否开启

使haproxy生成日志

Kibana界面配置

定义索引

查看索引

基于tcp或udp实现日志采集

通过 TCP/UDP 收集日志

测试收集

logstash配置

前台启动测试

检查端口是否开启

通过nc命令发送数据进行测试

返回结果

通过伪设备的方式发送数据进行测试

返回结果

正式收集

logstash配置

启动logrotate

检查端口是否开启

输入信息

Kibana界面配置

定义索引

查看索引

通过nginx实现安全访问和高可用

前言

注意事项

通过nginx代理 实现Kibana的安全访问

Elasticsearch + Kibana + nginx 主机配置

Elasticsearch配置

Kibana配置

nginx配置

生成密码

修改nginx配置文件

总结

nginx + keepalived 主机配置

keepalived 配置

通过nginx代理实现Kibana的安全访问