Filebeat如何监控Linux系统日志

1. 安装Filebeat
首先在Linux系统上安装Filebeat。不同发行版的安装命令不同：

Debian/Ubuntu：sudo apt-get update && sudo apt-get install filebeat
RHEL/CentOS：sudo yum install filebeat 或通过官网下载RPM包安装。

2. 配置Filebeat监控系统日志
配置文件默认路径为/etc/filebeat/filebeat.yml，核心是修改filebeat.inputs部分，指定要监控的系统日志文件路径。常见配置示例如下：

监控所有系统日志：通过通配符*.log监控/var/log/目录下所有日志文件，ignore_older参数可忽略超过72小时的旧日志（避免处理陈旧数据）。
```
filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log ignore_older: 72h 
```
监控特定系统日志：若只需监控syslog（通用系统日志）、auth.log（认证日志，CentOS中为secure）等关键文件，可直接指定路径。
```
filebeat.inputs: - type: log enabled: true paths: - /var/log/syslog - /var/log/auth.log # CentOS中替换为/var/log/secure 
```
排除不需要的文件：通过exclude_files参数排除压缩文件（如.gz）或其他无关文件，减少资源消耗。
```
filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log exclude_files: ['\.gz$'] 
```

3. 可选：优化配置（处理器、模块）

使用处理器解析日志：若日志为JSON格式，可通过decode_json_fields处理器提取message字段中的内容，将其转换为结构化数据（便于后续分析）。

filebeat.inputs: - type: log enabled: true paths: - /var/log/app.json.log processors: - decode_json_fields: fields: ["message"] target: "" # 解析后的字段存入根对象

启用系统模块：Filebeat内置system模块，包含针对Linux系统日志（如syslog、auth、kernel）的预定义配置（如字段映射、索引模板），可简化配置流程。启用方法：sudo filebeat modules enable system，之后修改filebeat.yml中的output部分即可。

4. 配置输出目标
Filebeat需将收集的日志发送到后端服务（如Elasticsearch或Logstash），在filebeat.yml中配置：

发送到Elasticsearch：若Elasticsearch运行在本地，默认端口为9200，索引名称可使用动态格式（如filebeat-%{+yyyy.MM.dd}，按日期分割索引）。
```
output.elasticsearch: hosts: ["localhost:9200"] index: "filebeat-%{+yyyy.MM.dd}" 
```
发送到Logstash：若需通过Logstash进行更复杂的处理（如过滤、转换），配置Logstash的地址（默认端口5044）。
```
output.logstash: hosts: ["localhost:5044"] 
```

5. 启动与验证Filebeat

启动服务：使用systemctl命令启动Filebeat，并设置为开机自启。
```
sudo systemctl start filebeat sudo systemctl enable filebeat 
```
检查状态：通过systemctl status filebeat确认服务是否运行正常（显示“active (running)”即为成功）。
查看日志：若需调试，可通过journalctl -u filebeat -f实时查看Filebeat的运行日志。
验证数据：登录Elasticsearch（如curl http://localhost:9200/_search）或Kibana，检查是否接收到系统日志数据。

6. 可选：调整系统参数（提升监控性能）
若监控大量日志文件，可能需调整Linux系统的inotify参数（限制单个用户可监控的文件数量）。编辑/etc/sysctl.conf，添加或修改以下行：

fs.inotify.max_user_watches=524288

运行sudo sysctl -p使配置生效。

最新问答

相关标签