如何用ELK分析Node日志

一、ELK Stack组件准备

ELK（Elasticsearch+Logstash+Kibana）是日志分析的核心框架，需先完成基础部署：

Elasticsearch：作为分布式搜索引擎，负责日志存储与快速检索。安装后需调整elasticsearch.yml（设置cluster.name、node.name、network.host: localhost），并启动服务。
Kibana：可视化工具，用于创建仪表盘。安装后修改kibana.yml（设置elasticsearch.hosts: ["localhost:9200"]），启动后通过http://localhost:5601访问。
Logstash：数据处理管道，负责日志收集、过滤与转发。安装后创建配置文件（如logstash.conf），定义输入、过滤、输出逻辑。

二、Node.js应用日志结构化配置

为了让ELK更好解析，需将Node.js日志转为结构化格式（JSON）。推荐使用Winston日志库（支持多transport、日志分级）：

const winston = require('winston'); const logger = winston.createLogger({ format: winston.format.combine( winston.format.timestamp(), // 添加时间戳 winston.format.json() // 输出JSON格式 ), transports: [ new winston.transports.File({ filename: 'app.log', maxsize: 100 * 1024 * 1024, // 100MB切割 level: 'info' }), new winston.transports.Console({ format: winston.format.simple() // 控制台输出简化格式 }) ] }); // 示例：记录带上下文的错误日志 logger.error('Database connection failed', { errorCode: 'DB_503', requestId: 'a1b2c3d4', userId: 'user123' });

结构化日志（如JSON）能让Logstash更易提取timestamp、level、message、errorCode等字段，提升后续分析效率。

三、日志收集方案设计

1. 轻量级传输：Filebeat

Filebeat是ELK推荐的轻量级日志收集器（资源占用低），配置示例如下：

# filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /var/log/node/*.log # Node.js日志路径 json.keys_under_root: true # 将JSON字段提升到顶层 json.add_error_key: true # 添加错误字段（如JSON解析失败） output.logstash: hosts: ["logstash:5044"] # 连接Logstash地址 compression_level: 3 # 启用gzip压缩（减少网络开销）

启动Filebeat：./bin/filebeat -e（-e表示输出到控制台，便于调试）。

2. 复杂处理：Logstash

若需更复杂的过滤（如提取IP、解析请求时间），可使用Logstash的grok插件。示例配置：

# logstash.conf input { beats { port => 5044 # 监听Filebeat端口 } } filter { if [fileset][module] == "node" { # 根据模块过滤（可选） grok { match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{GREEDYDATA:message}" } } date { match => ["timestamp", "ISO8601"] # 解析时间戳为Elasticsearch格式 target => "@timestamp" # 替换默认的@timestamp字段 } geoip { source => "clientip" # 若日志中有IP，提取地理位置 target => "geoip" } } } output { elasticsearch { hosts => ["localhost:9200"] index => "nodejs-logs-%{+YYYY.MM.dd}" # 按日期分索引（便于管理） } stdout { codec => rubydebug } # 输出到控制台（调试用） }

启动Logstash：./bin/logstash -f logstash.conf。

四、Kibana可视化分析

1. 创建索引模式

登录Kibana后，进入Stack Management > Index Patterns，点击“Create index pattern”，输入nodejs-logs-*（匹配Logstash输出的索引名），选择@timestamp作为时间字段，完成创建。

2. 基础查询与统计

查询示例：
- 查找5分钟内的ERROR日志：level: "error" and @timestamp >= now()-5m
- 统计接口响应时间P99：method: "GET" and path: "/api/v1/users" | stats percentile(response_time, 99)
可视化组件：
- 使用Lens拖拽字段生成折线图（如日志量趋势）、柱状图（如错误类型分布）。
- 使用**TSVB（Time Series Visual Builder）**创建实时监控面板（如QPS、错误率）。

3. 仪表盘构建

将常用的可视化组件添加到仪表盘（Dashboard > Create dashboard），可组合折线图、表格、饼图等，直观展示日志分析结果（如接口性能、错误趋势）。

五、进阶优化建议

日志轮转：使用logrotate工具避免日志文件过大（如每天切割、保留7天），配置示例：
```
/var/log/node/*.log { daily missingok rotate 7 compress notifempty create 640 root adm } 
```
性能调优：
- Elasticsearch：调整indices.query.bool.max_clause_count（建议4096）、增加分片数（如3个主分片）。
- Logstash：设置pipeline.workers为CPU核心数的2倍（提升处理并发）。
安全管控：通过Elasticsearch Security模块创建角色（如log_viewer），限制索引访问权限（如仅允许读取nodejs-logs-*）。