CentOS中HBase日志管理技巧

一、日志查看

• 实时查看：使用 tail -f $HBASE_HOME/logs/hbase-<用户名>-hbase-<主机名>.log 命令查看特定实例日志。
• 系统日志：通过 tail -f /var/log/messages 查看与HBase相关的系统级日志。

二、日志配置

• 路径设置：修改 hbase-env.sh 中的 HBASE_LOG_DIR 环境变量调整日志存储路径。
• 日志级别：通过设置 HBASE_LOGLEVEL 环境变量（如 export HBASE_LOGLEVEL=DEBUG）控制日志详细程度。

三、日志轮转与清理

• 自动轮转：利用 logrotate 工具配置日志轮转规则，避免单个文件过大，配置文件位于 /etc/logrotate.d/hbase。
• 手动清理：可设置定时任务（如 crontab）定期删除过期日志，或通过修改 hbase-site.xml 中 hbase.master.logcleaner.ttl 参数控制 WAL 日志保留时间。

四、日志监控与分析

• 实时监控：使用 tail -f 或 logwatch 工具实时跟踪日志输出。
• 工具分析：
  • ELK Stack：通过 Logstash 收集、Elasticsearch 存储、Kibana 可视化日志数据，适合大规模日志分析。
  • 命令行工具：使用 grep、awk 等过滤关键信息，如 grep 'ERROR' /path/to/hbase/logs/*.log。

五、最佳实践

• 保留必要日志：生产环境中避免开启过多 DEBUG 日志，定期清理无用日志。
• 结合监控工具：集成 Prometheus + Grafana 实时监控日志相关指标（如日志量、错误率）。