日志

FileBeat

filebeat 概述

filebeat 基于 golang语言开发所以无需配置Java环境以及JDK等，性能非常出色，并且占用空间也非常小
但是相对logstash过滤的条件较少，只适合一些对数据收集格式要求不高的场景
可以通过将filebeat收集的数据转交给logstash来进行处理，以达到需要的格式等需求
还可以将输出转发给redis、kafka等应用进行下一步处理

filebeat 安装

国内镜像下载地址：

# centos
rpm -iv filebeat-7.16.3-x86_64.rpm

# Ubuntu
dpkg -i filebeat-7.16.3-amd64.deb

filebeat 核心配置说明

官方文档：https://www.elastic.co/guide/en/beats/filebeat/index.html
filebeat的配置文件为YAML格式，此格式对缩进非常严格，配置的时候要格外注意

inputs 配置

定义输入的文件
官方文档：https://www.elastic.co/guide/en/beats/filebeat/7.16/configuration-filebeat-options.html

# /etc/filebeat/filebeat.yml

# ============================== Filebeat inputs ===============================
filebeat.inputs:
- type: log #输入的类型，只能使用官方指定的类型，不能自定义，如：log、redis、tcp等，详情参阅官方文档的 input types
  enabled: true #是否启用，false不启用，true启用
  paths:
    - /var/log/messages #指定输入的文件
    #- /var/log/boot.log #可以指定多个文件
    #- /var/log/*.log #匹配/var/log/下的所有以.log结尾的文件
  #exclude_lines: ['^DBG'] #排除输入文件中的以 DBG开头的行
  #include_lines: ['^ERR', '^WARN'] #不排除输入文件中的以 ERR WARN开头的行
  #prospector.scanner.exclude_files: ['.gz$'] #排除以.gz结尾的文件
  fields: #定义用于后续过滤的字段
    type: system_log #添加过滤信息，此处type可以按需指定，如：app_id: query_engine_12

Outputs 配置

定义输出到哪里

Fluentd

fluentd 概述

Fluentd是日志收集器，处理器和聚合器。（相比fluent-bit具有更强大的聚合功能）
Fluentd 和 fluent-bit 可以根据两个组件不同特点可以考虑将Fluentd主要用作聚合器，将fluent-bit作为日志转发器，两个项目相互补充，从而提供了完整的可靠轻量级日志解决方案，当然fluent-bit也可以独立完成日志收集。

fluent-bit 概述

https://fluentbit.io/

fluent-bit类似filebeat，但fluent-bit的诞生之初就考虑到适配到云原生应用之上，因此更适合收集k8s中的日志数据等
Fluent Bit 可以从本地文件和网络设备读取数据，并且可以从服务器中抓取普罗米修斯格式的指标。
所有事件都自动标记，以确定过滤、路由、解析、修改和输出规则。
过滤器可以通过调用**API（例如 Kubernetes）**来修改数据，删除无关字段或添加值。
Fluent Bit可以将数据发送到**多个位置，**包括热门目的地，如Splunk, Elasticsearch,OpenSearch, Kafka等。

fluent-bit 工作原理

INPUT –> PARSER –> FILTER –> buffer –> routing –> OUTPUT N
fluent-bit是一个简单日志收集工具，上面就是对它工作流程的全局概述，它通过输入、转换、过滤、缓冲、路由到输出而完成日志的收集

fluent-bit 部署

helm

helm 是 fluent-bit 的推荐部署方式
fluent-bit官方chart：https://github.com/fluent/helm-charts
https://docs.fluentbit.io/manual/installation/kubernetes#installation
https://artifacthub.io/packages/helm/fluent/fluent-bit

# 安装fluent官方chart仓库
# helm repo add fluent https://fluent.github.io/helm-charts
...

# 验证仓库
# helm repo list
NAME                	URL                                               
...              
fluent              	https://fluent.github.io/helm-charts              


# 更新仓库元数据
# helm repo update
...

# 查看fluent-bit相关chart
# helm search repo fluent-bit
NAME             	CHART VERSION	APP VERSION	DESCRIPTION                                       
fluent/fluent-bit	0.20.9       	1.9.9      	Fast and lightweight log processor and forwarde...


# 打印安装的readme，此信息从chart官方仓库也可以查看
# helm show readme fluent/fluent-bit --version 0.20.9


# 获取values文件，values文件还可以从chart官方仓库下载
# helm show values fluent/fluent-bit --version 0.20.9 > values-fluent-bit.yaml


# 按需修改values文件，具体如何修改参阅chart官方仓库，或readme的提示信息
# vim values-elasticsearch.yaml
...


# 指定chart版本安装，如未指定，则使用最新版本，最后指定按需修改后的values文件部署
# kubectl create ns logs
# helm install fluent-bit --version 0.20.9 fluent/fluent-bit -n logs -f values-fluent-bit.yaml

fluent-bit conf

fluent-bit.conf

/fluent-bit/etc/fluent-bit.conf

[SERVICE]
    Daemon Off # Off前台运行，On后台运行，Default Off
    Flush 1 # 刷新时间，引擎循环使用刷新超时来定义何时需要刷新输入插件通过定义的输出插件接收的记录，Default 5
    Log_Level info # 日志记录级别，Default info
    Parsers_File parsers.conf # 语法解析器配置文件的路径，可以定义多个
    Parsers_File custom_parsers.conf
    HTTP_Server On # 是否启用内置HTTP服务器，Default Off
    HTTP_Listen 0.0.0.0
    HTTP_Port 2020
    Health_Check On


# 输入源，具体定义参数由输入插件决定
[INPUT]
    Name tail # 输入插件的名称，必选字段
    Tag kube.* # 与来自此插件的所有记录关联的标记名，除输入转发插件外，所有插件都必须使用标记（因为它提供动态标记）。
    Path /var/log/containers/*.log # 通过使用通用通配符指定特定日志文件或多个日志文件的模式。也允许使用逗号分隔的多个模式。
    multiline.parser docker, cri # 指定一个或多个要应用于内容的多行分析器定义。
    Mem_Buf_Limit 5MB
    Skip_Long_Lines On # 当文件中的某行数据的大小大于Buffer_Max_Size时(默认32k)，则不记录改行，Default Off

[INPUT]
    Name systemd
    Tag host.*
    Systemd_Filter _SYSTEMD_UNIT=kubelet.service # 指定systemd进程，_SYSTEMD_UNIT=为默认前缀，Systemd_Filter可以按需指定多个
    Read_From_Tail On # 是否从日志文件末尾开始读取，On是，Off否，Default Off


# 过滤，具体定义参数由过滤器插件决定
[FILTER]
    Name kubernetes # 过滤器插件的名称，必选字段
    Kube_URL https://kubernetes.default.svc.k8s.xiangzheng.com:443
    Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
    # 所有过滤插件都必须使用Match或Match_Regex。如果两者都指定，则Match_Regex优先。
    Match kube.* # 与传入记录的标记匹配的模式。它区分大小写，并支持星号（*）字符作为通配符。
    #Match_Regex ？？？ # 与传入记录的标记匹配的正则表达式。如果要使用完整的正则表达式语法，请使用此选项。
    Merge_Log On # 启用时，它会检查日志字段内容是否是JSON字符串映射，如果是，它会将映射字段附加为日志结构的一部分，Default Off
    Keep_Log Off # 禁用Keep_Log时，一旦成功合并传入消息，日志字段就会从中删除必须配合Merge_Log On使用，Default On
    K8S-Logging.Parser On # 允许Kubernetes Pods建议一个预定义的解析器（请在KubernetesAnnotations部分阅读更多信息），Default Off
    K8S-Logging.Exclude On # 允许Kubernetes Pods将其日志从日志处理器中排除（请在KubernetesAnnotations部分了解更多信息），Default Off
    Merge_Parser testparser # 指定解析器名称，以指定如何解析日志键中包含的数据

# 输出目标，具体定义参数由输出插件决定
[OUTPUT]
    Name es # 输出插件名称
    Match kube.* # 与传入记录的标记匹配的模式。它区分大小写，并支持星号（*）字符作为通配符。
    #Match_Regex ？？？ # 与传入记录的标记匹配的正则表达式。如果要使用完整的正则表达式语法，请使用此选项。
    Host elasticsearch-master # 目标Elasticsearch实例的IP地址或主机名
    Logstash_Format On # 是否启用Logstash格式兼容性，Default Off
    Logstash_Prefix k8s-cluster # 日志索引前缀
    Retry_Limit False # False表示一直重试，也可以指定重试次数

[OUTPUT]
    Name es
    Match host.*
    Host elasticsearch-master
    Logstash_Format On
    Logstash_Prefix k8s-node
    Logstash_Prefix node
    Retry_Limit False

custom_parsers.conf

/fluent-bit/etc/custom_parsers.conf

# 语法解析器配置
[PARSER]
    Name docker_no_time
    Format json
    Time_Keep Off
    Time_Key time
    Time_Format %Y-%m-%dT%H:%M:%S.%L

fluent-bit plugins

INPUT

https://docs.fluentbit.io/manual/pipeline/inputs

tail

tail 插件可以类似于 tail -f命令一样跟踪日志发生的变化

kibana

Kibana 概述

Kibana 为 Elasticsearch 提供一个查看数据的 web 界面，其主要是通过 Elasticsearch 的 API 接口进行数据查找，并进行前端数据可视化的展现，另外还可以针对特定格式的数据生成相应的表格、柱状、饼状图等，不需要安装JDK

Kibana 部署

dpkg & rpm

可以和Elasticsearch安装在一起，也可以不安装在一起
但通常Kibana是和Elasticsearch安装在一起，Kibana绑定再本机的127.0.0.1端口，然后再安装一个nginx 和Kibana做代理密码验证，最后前面会加一个负载均衡，Kibana再通过负载均衡来访问Elasticsearch
https://mirrors.tuna.tsinghua.edu.cn/elasticstack/apt/7.x/pool/main/k/kibana/

#无需安装JDK，直接安装就可以
dpkg -i kibana-7.15.0-amd64.deb 

#启动服务并设为开机启动，一般都要先修改配置文件再启动
#注意：启动后要等一会 待数据初始化完毕才能访问
systemctl enable --now kibana.service

#浏览器访问5601端口测试

helm

下面使用Elasticsearch官方提供的仓库进行部署，也可以使用信任的第三方仓库，比如：bitnami
https://artifacthub.io/packages/helm/elastic/kibana

# 安装elastic官方chart仓库
# helm repo add elastic https://helm.elastic.co


# 验证仓库
# helm repo list
NAME                	URL                                               
...              
elastic             	https://helm.elastic.co


# 打印安装的readme，此信息从chart官方仓库也可以查看
# helm show readme elastic/kibana --version 7.17.3


# 获取values文件，values文件还可以从chart官方仓库下载
# helm show values elastic/kibana --version 7.17.3 > values-kibana.yaml


# 按需修改values文件，具体如何修改参阅chart官方仓库，或readme的提示信息
# vim values-kibana.yaml
...


# 指定chart版本安装，如未指定，则使用最新版本，最后指定按需修改后的values文件部署
# kubectl create ns logs
# helm install kibana --version 7.17.3 elastic/kibana -n logs -f values-kibana.yaml


# 后期升级
# helm upgrade kibana elastic/kibana -n logs -f /helm/values-kibana.yaml

Kibana conf

https://www.elastic.co/guide/en/kibana/current/index.html

Logstash

Logstash 前言

Logstash是一个具有实时传输能力的数据收集引擎，其可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析，最终把经过处理的日志发送给Elasticsearch，基于Java开发，所以需要安装JDK**(logstash-7.13.4及以上版本自带JDK)**

**下载地址：**https://www.elastic.co/cn/downloads/logstash

**国内下载地址：**https://mirrors.tuna.tsinghua.edu.cn/elasticstack/apt/7.x/pool/main/l/logstash/

**插件及配置等官方帮助文档：**https://www.elastic.co/guide/en/logstash/current/index.html

Logstash 安装

支持的版本：https://www.elastic.co/cn/support/matrix

#下载
wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/apt/pool/main/l/logstash/logstash-7.16.3-amd64.deb

#安装
dpkg -i logstash-7.16.3-amd64.deb

Logstash 安装后优化

以root身份启动

默认Logstash是以logstash的身份运行的，这样会导致对一些文件没有读的权限
可以选择将启动用户改为root或者将读权限给予logstash，一般都是直接使用root启动

root@logstash:~# vim /etc/systemd/system/logstash.service
[Service]
Type=simple
User=root #root身份启动
Group=root #root身份启动
...

JVM优化

root@logstash:~# vim /etc/logstash/jvm.options
...
-Xms1g #Logstash分配的内存，根据日志量生产中建议调到2、4、8G等
-Xmx1g #Logstash分配的内存，根据日志量生产中建议调到2、4、8G等
...

Logstash 安装后测试

一般Logstash安装后可以正常启动都是没问题的，这里展示测试方法

测试标准输入和输出

#以进程的方式启动测试，测试前要关闭logstash服务
/usr/share/logstash/bin/logstash -e 'input { stdin{} } output { stdout{ codec => rubydebug } }' #标准输入和输出
hello #输入hello
{
      "@version" => "1", #事件版本号，一个事件就是一个 ruby 对象
    "@timestamp" => 2021-10-13T13:34:23.858Z, #事件发生的时间
       "message" => "hello", #消息的具体内容
          "host" => "es-node1" #事件发生在哪里（主机名）
}

测试输出到文件

#以进程的方式启动测试，测试前要关闭logstash服务
# /usr/share/logstash/bin/logstash -e 'input { stdin{} } output { file{ path => "/tmp/log-%{+YYYY.MM.dd}messages.log" } }'
...
#输入一些信息
aaa
[INFO ] 2022-03-16 06:49:16.785 [[main]>worker0] file - Opening file {:path=>"/tmp/log-2022.03.16messages.log"}
bbb
[INFO ] 2022-03-16 06:49:35.111 [[main]>worker1] file - Closing file /tmp/log-2022.03.16messages.log


#查看结果
# tail -f /tmp/log-2022.03.16messages.log 
{"message":"aaa","host":"es-node1","@timestamp":"2022-03-16T06:49:16.545Z","@version":"1"}
{"message":"bbb","host":"es-node1","@timestamp":"2022-03-16T06:49:19.308Z","@version":"1"}

Logstash 相关文件

/usr/share/logstash/bin/ #logstash相关命令存放路径

/var/lib/logstash/plugins/inputs/file/ #此目录下的文件记录了输入文件的相关信息（inode节点号等）

/etc/systemd/system/logstash.service #service文件

/etc/logstash/logstash.yml #主配置文件

/etc/logstash/conf.d/ #子配置文件存放目录，后期配置文件通常放于此目录处，随开机启动会自动加载

/etc/logstash/jvm.options #JVM优化文件

Logstash 配置文件说明

/etc/logstash/conf.d/

root@logstash:~# vim /etc/logstash/conf.d/test.conf
input  {
  stdin {}
}

output {
  elasticsearch {
    hosts => ["10.0.0.100"] #es节点的ip
    index => "my-elk" #和Elasticsearch主配置中的cluster.name:保持一致，文件中的必须是小写
  }

  file {
    path => "/tmp/test.log" #数据会在本机存放一份，存到此文件中
  }
}

Logstash 相关命令

Logstash自身相关

配置文件语法检测

#测试配置文件语法是否有问题
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf -t
Configuration OK #ok

使用配置文件前台启动

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

插件管理相关

显示系统自带的核心插件

/usr/share/logstash/bin/logstash-plugin  list

Logstash 插件

input 相关插件

官方文档：https://www.elastic.co/guide/en/logstash/7.16/input-plugins.html
input 相关插件使 Logstash 能够读取特定的事件源

file

官方文档：https://www.elastic.co/guide/en/logstash/7.16/plugins-inputs-file.html

Loki

Loki 概述

Loki 是 Grafana Labs 推出的开源日志聚合系统，受 Prometheus 启发，专为云原生环境设计。

核心特点（和 ELK/ES 对比）：

特性	Loki	Elasticsearch
存储成本	极低（只存标签+原始日志）	高（全文索引）
查询性能	标签过滤极快，内容搜索稍慢	全文搜索极快
架构复杂度	简单（单二进制可运行）	复杂
适合场景	大量微服务、Kubernetes 日志	需要复杂分析的业务日志

Loki = Labels（标签） + Chunks（日志块） + Index（轻量索引）

Loki 核心组件

Loki 主程序：读写核心（可单进程模式或微服务模式）
Promtail / Grafana Agent：日志采集（部署在每个节点）
Querier：查询接口
Ingester：写入接口
Distributor：分发写入请求
Ruler（可选）：告警规则
对象存储：S3/MinIO/GCS/本地文件系统等（存放日志块和索引）

Rsyslog

Rsyslog 概述

Rsyslog 是一个高度可配置和多功能的日志处理系统。它通常用于收集、过滤和转发日志消息。它支持多种输入源，包括 systemd 日志、文本文件和网络协议（如 UDP、TCP），并且可以将日志转发到不同的目的地，如文件、数据库或远程服务器。

以下是您可以使用 rsyslog 的一些功能概述：

关键组件：

输入模块： 收集日志（例如，从 /var/log/）。
输出模块： 将日志写入目的地（文件、数据库、远程服务器等）。
过滤器： 根据条件（日志严重性、消息内容等）处理和过滤日志。
模板： 控制日志的输出格式。

Rsyslog 配置文件

/etc/rsyslog.conf

# /etc/rsyslog.conf configuration file for rsyslog
#
# For more information install rsyslog-doc and see
# /usr/share/doc/rsyslog-doc/html/configuration/index.html
#
# Default logging rules can be found in /etc/rsyslog.d/50-default.conf


#################
#### MODULES ####
#################

module(load="imuxsock") # provides support for local system logging
#module(load="immark")  # provides --MARK-- message capability

# provides UDP syslog reception
module(load="imudp")
input(type="imudp" port="514")

# provides TCP syslog reception
module(load="imtcp")
input(type="imtcp" port="514")

# provides kernel logging support and enable non-kernel klog messages
module(load="imklog" permitnonkernelfacility="on")

###########################
#### GLOBAL DIRECTIVES ####
###########################

#
# Use traditional timestamp format.
# To enable high precision timestamps, comment out the following line.
#
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

# Filter duplicated messages
$RepeatedMsgReduction on

#
# Set the default permissions for all log files.
#
$FileOwner syslog
$FileGroup adm
$FileCreateMode 0640
$DirCreateMode 0755
$Umask 0022
$PrivDropToUser syslog
$PrivDropToGroup syslog

#
# Where to place spool and state files
#
$WorkDirectory /var/spool/rsyslog

#
# Include all config files in /etc/rsyslog.d/
#
$IncludeConfig /etc/rsyslog.d/*.conf

/etc/rsyslog.d/50-default.conf

#  Default rules for rsyslog.
#
#			For more information see rsyslog.conf(5) and /etc/rsyslog.conf

#
# First some standard log files.  Log by facility.
#
auth,authpriv.*			/var/log/auth.log
*.*;auth,authpriv.none		-/var/log/syslog
#cron.*				/var/log/cron.log
#daemon.*			-/var/log/daemon.log
kern.*				-/var/log/kern.log
#lpr.*				-/var/log/lpr.log
mail.*				-/var/log/mail.log
#user.*				-/var/log/user.log

#
# Logging for the mail system.  Split it up so that
# it is easy to write scripts to parse these files.
#
#mail.info			-/var/log/mail.info
#mail.warn			-/var/log/mail.warn
mail.err			/var/log/mail.err

#
# Some "catch-all" log files.
#
#*.=debug;\
#	auth,authpriv.none;\
#	news.none;mail.none	-/var/log/debug
#*.=info;*.=notice;*.=warn;\
#	auth,authpriv.none;\
#	cron,daemon.none;\
#	mail,news.none		-/var/log/messages

#
# Emergencies are sent to everybody logged in.
#
*.emerg				:omusrmsg:*

#
# I like to have messages displayed on the console, but only on a virtual
# console I usually leave idle.
#
#daemon,mail.*;\
#	news.=crit;news.=err;news.=notice;\
#	*.=debug;*.=info;\
#	*.=notice;*.=warn	/dev/tty8

—

常见日志文件

以下日志文件都是存放在 /var/log/ 目录下

secure    #系统安全日志，文本格式，应周期性分析
btmp      #当前系统上，用户的失败尝试登录相关的日志信息，二进制格式，lastb命令进行查看
wtmp      #当前系统上，用户正常登录系统的相关日志信息，二进制格式，last命令可以查看
lastlog   #每一个用户最近一次的登录信息，二进制格式，lastlog命令可以查看
dmesg     #CentOS7 之前版本系统引导过程中的日志信息，文本格式，开机后的硬件变化将不再记录，专用命令dmesg查看，可持续记录硬件变化的情况
boot.log  #系统服务启动的相关信息，文本格式
messages  #系统中大部分的信息
anaconda  #anaconda的日志

-

rsyslog 概述

rsyslog 是 CentOS 6 以后推出的单主机日志管理应用

Vector

Vector 概述

Vector 是 Datadog 推出的一款高性能、轻量级的日志采集代理（Agent）。

它的配置文件结构如下：

# 全局配置
略

# 数据源（Sources）—— 从哪里采集数据
sources:
  apache_logs:
    type: file
    include:
      - /var/log/apache2/access.log
    read_from: beginning

  host_metrics:
    type: host_metrics
    scrape_interval_secs: 10

  demo_logs:
    type: demo_logs
    format: syslog
    interval: 1

# 数据转换（Transforms）—— 对数据进行解析、过滤、采样、重命名等
transforms:
  parse_apache:
    type: remap
    inputs: ["apache_logs"]
    source: |
      . = parse_apache_log!(.message, "combined")

  add_env:
    type: remap
    inputs: ["parse_apache"]
    source: |
      .environment = "production"
      .host = get_hostname!()

  sample_logs:
    type: sample
    inputs: ["add_env"]
    rate: 10   # 只保留 10% 的日志（用于生产降采样）

# 数据输出（Sinks）—— 把数据发到哪里去
sinks:
  clickhouse_logs:
    type: clickhouse
    inputs: ["sample_logs", "parse_apache"]
    endpoint: https://clickhouse.example.com:8443
    database: logs
    table: apache_access
    auth:
      strategy: basic
      user: vector
      password: "${CLICKHOUSE_PASSWORD}"
    compression: gzip
    batch:
      max_bytes: 10485760   # 10MB

  prometheus_exporter:
    type: prometheus_exporter
    inputs: ["host_metrics"]
    address: 0.0.0.0:9598

  console_debug:
    type: console
    inputs: ["add_env"]
    encoding: json

全局配置

# ==================== Vector 全局配置 ====================

data_dir: "/var/lib/vector/"          # 【必须】Vector 运行时数据的存储目录
                                      # 用来存放 buffer 的磁盘缓存、检查点（checkpoints）、
                                      # internal metrics 的 SQLite 数据库等
                                      # 推荐使用独立的分区或磁盘，权限建议 0700
                                      # 默认值："/var/lib/vector"（Linux）或系统临时目录

api:                                  # 【可选】开启 Vector 内置的 HTTP API（用于健康检查、指标暴露、调试等）
  enabled: true                       # 是否开启 API 服务
  address: "0.0.0.0:8686"             # 监听地址和端口，默认 127.0.0.1:8686
  playground: true                    # 是否开启交互式 GraphQL Playground（调试用，生产建议关闭）

healthchecks:                         # 【可选】健康检查相关配置
  enabled: true                       # 是否启用 /health 端点返回 200（所有组件正常时）
  require_healthy: false              # 启动时如果有组件不健康是否直接退出（常用于容器编排）

log_level: "info"                     # 【可选】全局日志级别，可选：off, error, warn, info, debug, trace
                                      # 也可以通过环境变量 VECTOR_LOG 覆盖

# ------------------- 时区与时间处理 -------------------
time_zone: "UTC"                      # 【可选】事件时间戳解析/格式化使用的时区
                                      # 可选值：Local（本地时区）或 IANA 时区名（如 "Asia/Shanghai"）
                                      # 默认：Local

# ------------------- 内部指标相关 -------------------
internal_metrics:                     # 【可选】Vector 自带的 Prometheus 指标暴露配置
  enabled: true
  address: "0.0.0.0:9598"             # ＃指标暴露端口（与 api 不同端口）
  scrape_interval_secs: 5            # 指标采集间隔，默认 5s

# ------------------- Buffer（缓冲）全局默认 -------------------
buffer:                               # 【可选】当 sources/transforms/sinks 没有单独配置 buffer 时使用的默认值
  type: "memory"                      # 默认缓冲类型：memory | disk
  max_events: 500                     # memory 模式下最大事件数
  when_full: "block"                  # 缓冲满时的行为：block（阻塞） | drop_newest（丢弃最新）

# disk 缓冲示例（如果想全局默认用磁盘缓冲可以这样写）：
# buffer:
#   type: "disk"
#   max_size: 268435456               # 256MB（字节）
#   when_full: "block"

# ------------------- 其他高级全局配置 -------------------
graceful_shutdown_timeout_secs: 60    # 【可选】收到 SIGTERM 后最多等待多少秒让缓冲刷完，默认 60s

enrichment_tables:                    # 【可选】全局定义 enrichment tables（类似查找表），可在 transform 中引用
  file:
    ip_to_region:
      type: "file"
      file: "/etc/vector/enrichment/ip_to_region.csv"
      format: "csv"

# ------------------- 实验性/不常用 -------------------
# enterprise:                        # 如果你使用 Vector Enterprise 版才需要
#   enabled: true
#   api_key: "xxxxxx"

# ------------------- 结束 -------------------
# sources / transforms / sinks 放在这个配置文件的其他位置或单独文件

数据源（Sources）配置

https://vector.dev/docs/reference/configuration/sources/