Zabbix 监控案例

Elasticsearch

监控 Elasticsearch集群

Elasticsearch集群状态检测脚本

#!/bin/bash
#Elasticsearch_version:
#Author:Azheng

check_es_status(){
  STATUS=`curl -sXGET http://10.0.0.100:9200/_cluster/health?pretty=true | sed -n 3p | sed -nr 's/.*: "(.*)".*,/\1/p'`
  
  if test ${STATUS} = green ;then
    echo 50
  else
    echo 100
  fi
}

check_es_status

JMX

参考文档

开启 JMX

tomcat 开启 JMX

# vim /usr/local/tomcat/bin/catalina.sh
...
CATALINA_OPTS="${CATALINA_OPTS} -Djava.rmi.server.hostname=$(hostname -I | awk '{print $1}')"
#CATALINA_OPTS="${CATALINA_OPTS} -Djava.rmi.server.hostname=10.0.0.18"
CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote=true"
CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote.port=12345"
CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote.ssl=false"
CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote.authenticate=false"


# 说明：
CATALINA_OPTS="${CATALINA_OPTS} -Djava.rmi.server.hostname=JMX_HOST" #tomcat(Java程序)运行主机的IP地址，如果要在多台主机运行可以采用变量的方式获取当前主机的IP：$(hostname -I | awk '{print $1}')"
CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote=true" #启动远程监控JMX
CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote.port=JMX_PORT" #JMX监听的端口号，要和zabbix添加主机时候的端口一致即可 
CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote.ssl=false" #不启用ssl连接
CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote.authenticate=false" #不启用授权

为一般程序开启 JMX

# 在Java程序启动时添加以下参数
-Djava.rmi.server.hostname=192.168.1.2 # jmx服务端IP
# 多IP的场景可以使用变量获取IP
# -Djava.rmi.server.hostname=$(hostname -I | awk '{print $1}')

-Dcom.sun.management.jmxremote.port=6666 # jmx监听端口

-Dcom.sun.management.jmxremote.ssl=false # 不启用ssl连接

-Dcom.sun.management.jmxremote.authenticate=false # 不启用授权


# 范例：
java \
-Dcom.sun.management.jmxremote \
-Djava.rmi.server.hostname=$(hostname -I | awk '{print $1}') \
-Dcom.sun.management.jmxremote.port=12345 \
-Dcom.sun.management.jmxremote.authenticate=false \
-Dcom.sun.management.jmxremote.ssl=false \
-jar xxx.jar

验证 JMX

使用 java 客户端工具 jconsole

Linux Host

Linux Host 核心监控项

内存、CPU、磁盘、网络、IO等
通常选择zabbix自带的模板，如：Template OS Linux by Zabbix agent active

先决条件

被监控主机安装zabbix-agent

实现

环境

IP地址	服务	端口
10.0.0.8	zabbix-server、msqyl(zabbix-server)	10051、3306
10.0.0.28	Java-gateway、Linuxhost	10052

部署环境

过程省略…

web界面配置

配置

主机

右上角创建主机
**主机名称：**被监控主机中zabbix-agent所定义的Hostname，Hostname一般是被监控主机的IP，所以这里直接写IP即可
- 如：10.0.0.28
**可见的名称：**输入一个对外展示的，可以使用字母数字、空格、点”."、中划线"-"、下划线"_"，如果不写此项则会使用前面定义的主机名称
- 如：10.0.0.28-linux-host
**群组：**选择一个或多个已经定义的分组，群组如果事先没有创建的话会根据定义的群组名称自动创建，所有访问权限都分配到主机组，而不是单独的主机。这也是主机需要属于至少一个组的原因。
- 如：web
**Interfaces：**定义被监控主机的IP地址等信息，端口号一般默认10050即可
- 如：10.0.0.18
**由agent代理程序监测：**涉及到proxy代理节点时需要配置

模板

定义完上面的主机后需要选择监控的模板，直接搜索然后选择即可如：
此模板仅作测试生产中需要自定义模板

Template OS Linux by Zabbix agent active

后记

按照以上的方式配置完成后，可以在主机栏中点击图形–>选择监控项名称–>预览来观察是否有数据出现，也可以点击监测–>主机来查看是否有数据采集信息出现

MySQL

MySQL 核心监控项

性能类指标：

QPS，数据库每秒处理的请求数量
TPS ，数据库每秒处理的事务数量
并发数，数据库实例当前并行处理的会话数量
连接数，连接到数据库会话的数量
缓存命中率，查询命中缓存的比例

高可用指标：

可用性，数据库是否可以正常对外服务（端口号、进程是否存在等）
阻塞，慢查询的会话数
慢查询，慢查询情况
主从同步状况
主从同步延迟(一般是120s-300s之间检测一次根据情况来定)
死锁

先决条件

下面以监控从节点举例

在mysql-slave节点上部署agent
zabbix-agent要以root用户启动或使用sudo进行授权，否则将无法执行收集主动同步状态等信息的操作

#方法一：zabbix-agent以root身份启动（推荐）
#vim /etc/zabbix/zabbix_agentd.conf
...
AllowRoot=1 #运行root启动
User=root #启动用户设为root
...
#vim /lib/systemd/system/zabbix-agent.service
...
[Service]
...
User=root
Group=root
...
#systemctl daemon-reload
#systemctl restart zabbix-agent.service
#ps aux|grep zabbix #验证

------------------------------------------------------------------------------

#方法二：将zabbix-agent进行sudo授权
#vim /etc/sudoers
...
#Defaults   !visiblepw    #注释此行，表示不强制使用tty
zabbix  ALL=NOPASSWD: ALL #允许zabbix执行命令时不需要密码验证
...

在web界面添加mysql-slave主机

参考上面的添加主机流程

在web界面添加监控模板

可以参考上面的添加模板流程

准备监控脚本

监控slave主机的主从同步是否监控以及延迟时间

#/etc/zabbix/zabbix_agentd.d/mysql_monitor.sh
#!/bin/bash
#Author:XiangZheng
MONITOR_USER=root
MONITOR_HOST=localhost

Seconds_Behind_Master(){
    NUM1=`mysql -u${MONITOR_USER} -h${MONITOR_HOST} -e "show slave status\G;" | grep Seconds_Behind_Master: | awk '{print $2}'`
    echo $NUM1
}

master_slave_check(){
    NUM2=`mysql -u${MONITOR_USER} -h${MONITOR_HOST} -e "show slave status\G;" 2>/dev/null | grep Slave_IO_Running: | awk '{print $2}'`

    NUM3=`mysql -u${MONITOR_USER} -h${MONITOR_HOST} -e "show slave status\G;" 2>/dev/null | grep Slave_SQL_Running: | awk '{print $2}'`

if [[ ${NUM2} = Yes ]] && [[ ${NUM3} = Yes ]];then
    echo 50
else
    echo 100
fi
}

main(){
    case $1 in
        Seconds_Behind_Master)
            Seconds_Behind_Master;
            ;;
        master_slave_check)
            master_slave_check;
            ;;
    esac
}

main $1

将监控脚本关联至子配置文件

#/etc/zabbix/zabbix_agentd.d/zabbix_monitor.conf
...
UserParameter=mysql_status[*],/etc/zabbix/zabbix_agentd.d/mysql_monitor.sh "$1"
...

#重启服务
systemctl restart zabbix-agent.service

测试监控脚本

[root@zabbix-server ~]# zabbix_get -s 10.0.0.28 -p 10050 -k mysql_status[Seconds_Behind_Master]
0
[root@zabbix-server ~]# zabbix_get -s 10.0.0.28 -p 10050 -k mysql_status[master_slave_check]
50

创建模板

web界面 –> 配置 –> 模板 –> 创建模板
- 模版名称如：Templates MySQL status check
- 群组如：Templates

基于模板创建监控项

web界面 –> 配置 –> 选择模板 –> 创建监控项
监控项：
- 名称：如：MySQL主从同步延迟时间
- 类型：如：zabbix客户端(主动式)
- 键值：如：mysql_status[Seconds_Behind_Master]
- 信息类型：如：数字(无正负)
- 单位：如：秒
- 间隔时间：如：3m
- 添加

基于监控项创建图形

web界面 –> 配置 –> 选择模板 –> 创建图形
图形：
- 名称：如：MySQL主从同步延迟时间
- 监控项：如：添加 MySQL主从同步延迟时间
- 添加

基于监控项创建触发器

web界面 –> 配置 –> 选择模板 –> 创建触发器

Nginx

Nginx核心监控项

端口是否存活、进程是否存在
总访问量
并发访问量
访问的响应时间
300、400、500系列状态码的出现次数

在nginx主机上部署agent

参考上面的部署agent实现流程
过程省略…

在web界面添加nginx主机

参考上面的添加主机流程

在web界面添加监控模板

参考上面的添加模板流程

在web界面准备通知媒介

可选，如果实现存在通知媒介则无需添加
参考上面的添加通知媒介流程

在web界面添加动作

参考上面的添加动作流程

nginx故障恢复脚本参考

[root@nginx-web1 ~]# vim /data/scripts/nginx_check.sh
#!/bin/bash
killall -0 nginx &> /dev/null
if [ ${?} -ne 0 ];then
     systemctl restart nginx.service
        elif [ ! $(systemctl is-active nginx.service) == active ];then
            kill -9 nginx
            systemctl restart nginx.service
fi

[root@nginx-web1 ~]# chmod +x /data/scripts/nginx_check.sh

RabbitMQ

监控 RabbitMQ

参考文档：https://git.zabbix.com/projects/ZBX/repos/zabbix/browse/templates/app/rabbitmq_http

监控集群节点数量脚本

# cat rabbitmq_claster_status_monitor.sh
#!/bin/bash
#
#********************************************************************
#Author:	     	xiangzheng
#QQ: 			    767483070
#Date: 		     	2022-06-10
#FileName：		    rabbitmq_claster_status_monitor.sh
#URL: 		    	https://www.xiangzheng.vip
#Email: 		    rootroot25@163.com
#Description：		The test script
#Copyright (C): 	2022 All rights reserved
#********************************************************************
USER='azheng'
PASS='123456'
HOST='10.0.0.100'

#定义函数,判断集群中running节点的数量
status(){
curl -s -u ${USER}:${PASS} http://${HOST}:15672/api/nodes|grep -Eo "\"running\"\:true\,"|wc -l
}

#调用函数
status

Redis

Redis 核心监控项

端口是否存活、进程是否存在
redis的客户端连接数（会话连接数量）
每秒处理请求总数
阻塞连接数
redis内存使用量
主从角色

redis日志队列长度（可选项，主要防止redis采集es日志时堆积过多）参考监控脚本：

#!/bin/bash
#
#********************************************************************
#Author:	     	xiangzheng
#QQ: 			    767483070
#Date: 		     	2022-06-18
#FileName：		    monitor_redis.sh
#URL: 		    	https://www.xiangzheng.vip
#Email: 		    rootroot25@163.com
#Description：		The test script
#Copyright (C): 	2022 All rights reserved
#********************************************************************
REDIS_HOST="127.0.0.1"
REDIS_PASS="12345"
REDIS_DB="2"

redis_leen(){
    redis-cli --no-auth-warning -h "${REDIS_HOST}" -a "${REDIS_PASS}" -n "${REDIS_DB}" LLEN 10.0.0.8-message-log | awk  '{print $1}'
}

redis_leen

Redis 监控脚本

/etc/zabbix/zabbix_agentd.d/redis_monitor.sh

#!/bin/bash
#Author:xiangzheng
REDIS_HOST="127.0.0.1"
REDIS_PASS=""

redis_status(){
    redis-cli --no-auth-warning -h "${REDIS_HOST}" -a "${REDIS_PASS}" info | grep -w $1 | awk -F: '{print $2}'

}

redis_status $1

将监控脚本关联至子配置文件

# /etc/zabbix/zabbix_agentd.d/zabbix_monitor.conf
...
UserParameter=redis_status[*],/bin/bash /etc/zabbix/zabbix_agentd.d/redis_monitor.sh "$1"
...

测试监控脚本

[root@zabbix-server ~]# zabbix_get -s 10.0.0.28 -p 10050 -k redis_status[connected_clients]
2

[root@zabbix-proxy ~]# zabbix_get -s 10.0.0.28 -p 10050 -k redis_status[connected_clients]
2

实现

先决条件

被监控主机安装 zabbix-agent

准备被监控主机并关联模板

这里以redis连接数超过3则报警举例

SNMP设备

监控 SNMP设备

SNMP主要用于网络设备的管理
SNMP代理进程使用的端口为 UDP的161

SNMP概述

SNMP是简单网络管理协议，它属于TCP/IP五层协议中的应用层协议

SNMP的基本思想

为不同种类、型号和不同厂家生产的设备，定义一个统一的接口协议，使得管理员可以通过这个接口对网络设备进行统一管理

SNMP的协议版本

SNMP v1：采用团体名(Community Name)认证，团体名用来定义 SNMP 与NMS或Agent的关系，如果SNMP报文携带的团体名没有得到设备的认可，该报文将被丢弃，团体名起到了类似密码的作用，用来限制SNMP 与NMS或Agent的访问
SNMP v2c：也采用团体名认证，它在监控SNMP v1的同时又扩充了SNMP v1的功能，它提供了更丰富的错误代码且能够更细致的区分错误
SNMP v3：提供了基于用户的安全模型的认证机制，用户可以设置认证和加密功能，认证用于验证报文发送方的合法性，避免非法用户的访问，加密是对NMS和Agent之间的传输报文进行加密，以免被窃听。通过有无认证和有无加密等功能组合可以为SNMP 与NMS或Agent之间的通信提供更高的安全性

SNMP的组织机构

SNMP网络元素分为NMS和Agent两种：
- NMS(Network Management Station)网络管理站，是运行SNMP客户端管理程序的工作站，能够提供非常友好的人机交互界面，方便网络管理员完成绝大多数的网络管理工作
- Agent 是驻留在设备上的一个进程，负责接受、处理来自NMS的请求报文。在一些紧急情况下如接口状态发生改变等，Agent也会主动通知NMS
SNMP、NMS、Agent三者间的关系：
- NMS是SNMP网络的管理者，Agent是SNMP网络的被管理者
- NMS和Agent之间通过SNMP协议来交互管理信息
一套完整的SNMP系统主要包括以下几个方面：
- SNMP报文协议
- SMI 管理信息结构，一套公用的结构和表示符号
- MIB 管理信息库，管理信息库包含所有代理进程的所有可被查询和修改的参数
- OID，一个OID是一个唯一的键值对，用于标识具体某一个设备的某个具体信息，如：交换机某个端口信息、设备名称等

SNMP MIB

MIB被划分为若干个组，如system、interface、at(地址转换) 、ip组等
iso.org.dod.internet.private.enterprises（1.3.6.1.4.1）这个标识，是给厂家自定义而预留的如：
- 华为的为 1.3.6.1.4.1.2011
- 华三的为 1.3.6.1.4.1.25506
这里以Centos主机来模拟SNMP设备

准备基于Centos的SNMP

#安装snmp
[root@snmp-dev ~]# dnf -y install net-snmp

--------------------------------------------------------------------------------

#修改配置文件
[root@snmp-dev ~]# vim /etc/snmp/snmpd.conf 
...
com2sec notConfigUser  default   testcom #设置团体认证 默认为public

group   notConfigGroup v1      notConfigUser
group   notConfigGroup v2c     notConfigUser #将团体名notConfigUser关联至组notConfigGroup

view    systemview    included   .1.3.6.1.2.1.1
view    systemview    included   .1.3.6.1.2.1.25.1.1 #创建一个view，并对其授权可访问的OID范围
view    systemview    included   .1. #自定义授权，否则zabbix server无法获取数据，
                                     #.1.表示.1.开头的都授权
access  notConfigGroup "" any  noauth    exact  systemview none none #将组notConfigGroup关联至systemview 从而完成对组的授权
...

--------------------------------------------------------------------------------

#启动服务
[root@snmp-dev ~]# systemctl enable --now snmpd

--------------------------------------------------------------------------------

#观察udp/161端口是否开启
[root@snmp-dev ~]# ss -nul
State    Recv-Q    Send-Q     Local Address:Port        Peer Address:Port
UNCONN    0          0          0.0.0.0:161              0.0.0.0:*                  
...

测试OID

使用snmpwalk测试
snmpwalk是SNMP的一个工具，它使用SNMP的GET请求查询指定OID(协议中的对象标识)，入口的所有OID树信息，并显示给用户
通过snmpwalk也可以查看支持SNMP协议的设备的一些其他信息，如：cisco交换机或路由器IP地址、内存使用率等，也可用来协助开发SNMP功能

安装snmpwalk包

#安装
[root@zabbix-server ~]# dnf -y install net-snmp-utils

#获取帮助
[root@zabbix-server ~]# snmpwalk -h
...

测试SNMP数据采集

snmpwalk -v 2c -c testcom 10.0.0.28 .1.3.6.1.4.1.2021.10.1.3.1

准备监控模板

这里以zabbix自带的Template OS Linux SNMP模板举例
配置 –> 模板 –> Template OS Linux SNMP –> 宏 –> 模板宏
- 宏：{$SNMP_COMMUNITY}（替代默认继承模板的宏）
- 值：testcom（执行SNMP的团体名称）

web界面配置

配置 –> 主机
- 主机：
  - 主机名称：如：test-switch（这个名称已经不重要了因为设备上没有安装zabbix agent）
  - 可见的名称：如：test-switch
  - 群组：如：centos交换机
  - Interfaces：类型：SNMP IP地址：10.0.0.28 端口：161 SNMP version：SNMPv2
- 模板：
  - Link new templates：Template OS Linux SNMP
- 添加

web界面测试

…

TCP连接状态

监控 TCP连接状态

TCP连接核心监控点

ESTAB 建立连接的数量
TIME-WAIT 等待连接关闭数量

准备监控tcp连接数脚本

脚本是放在被监控的主机上的

[root@nginx-web1 ~]# vim /etc/zabbix/zabbix_agentd.d/tcp_conn_stat.sh
#!/bin/bash
#Author:Xiang Zheng
tcp_conn_status(){
    TCP_STAT=$1
    ss -nta | awk 'NR>1 {++s[$1]} END {for(k in s) print k,s[k]}' > /tmp/tcp_conn.txt
    TCP_NUM=$(grep "$TCP_STAT" /tmp/tcp_conn.txt | cut -d ' ' -f2)
    if [ -z $TCP_NUM ];then
            TCP_NUM=0
    fi
    echo $TCP_NUM
}

main(){
    case $1 in
        tcp_status)
            tcp_conn_status $2;
            ;;
    esac
}

main $1 $2

agent中添加自定义监控项

说明：
Format: UserParameter=,
tcp_status[*] 表示key的名称和接受的参数，[ ]表示接受的参数，[*]表示所有参数
/bin/bash 表示执行的命令，通常写绝对路径
“$1” “$2” 表示接受的参数，参数来自tcp_status后面括号中的内容

[root@nginx-web1 ~]# vim /etc/zabbix/zabbix_agentd.conf
...
UserParameter=tcp_status[*],/bin/bash /etc/zabbix/zabbix_agentd.d/tcp_conn_stat.sh "$1" "$2"
...

#修改配置文件后重启服务使其生效
[root@nginx-web1 ~]# systemctl restart zabbix-agent.service

测试脚本是否有效

proxy或server进行测试

[root@zabbix-server ~]# zabbix_get -s 10.0.0.28 -p 10050 -k 'tcp_status[tcp_status,LISTEN]'
4
[root@zabbix-server ~]# zabbix_get -s 10.0.0.28 -p 10050 -k 'tcp_status[tcp_status,TIME-WAIT]'
2

web界面配置

配置 –> 主机 –> 选择主机 –> 监控项 –> 创建监控项
- 名称如：tcp已连接统计
- 类型如：Zabbix客户端(主动式)
- 键值如：tcp_status[tcp_status,ESTAB]
配置 –> 主机 –> 选择主机 –> 监控项 –> 创建图形
- 名称如：tcp已连接统计
- 监控项如：tcp已连接统计

web

监控 web

zabbix提供web监控的功能，但通常只用于监测公司内部的web界面，因为使用zabbix上的主机来监控公司的主页面不能真正的模拟用户访问，真实的用户访问是从国内乃至世界的各个角落来的
一般的公司web页面监控都是使用专用的监控工具，如：监控宝、听云等…
公司内部的页面必须要设置监控，因为假设一个页面无法访问那么虽然负载均衡会完成故障的切换，但是这种切换无法给运维人员返回明显的报警，如果这时只剩下一台正常运行的web服务器那么就很危险了

实现监控主页状态

实现监控xiangzheng.vip主页状态
官方文档：https://www.zabbix.com/documentation/5.0/zh/manual/web_monitoring/items

web界面配置

配置 –> 主机 –> 选择一个主机点击web监测如：Zabbix server（主机只要是能访问到被监控的web就可以） –> 创建web场景
场景：
- 名称如：xiangzheng.vip主页监控
- 更新间隔如：30s
- 尝试次数如：3
- 客户端如：chrome 80 (Windows)
- 代理：可选如果本主机上不了网通需要代理进行上网的话则此项需添加
步骤：
- 添加
  - 名称如：xiangzheng.vip主页
  - URL 如：https://www.xiangzheng.vip/
  - 跟随跳转：√
  - 超时如：5s（根据情况设置一般3-5s）
  - 要求的状态码如：200
添加

测试

监测 –> 主机 –> 选择主机 –> web监测

配置触发器

实现故障通知以及监控页面主页展示
配置 –> 主机 –> Zabbix server –> 触发器 –> 创建触发器