centos k8s日志管理如何操作

CentOS环境下Kubernetes日志管理操作指南

一、日志管理核心流程

Kubernetes日志管理需覆盖收集→存储→查看/分析→轮转/清理→监控告警全链路，以下是具体操作步骤：

二、日志收集：选择合适工具

日志收集是基础，常见方案需根据集群规模、资源预算选择：

1. EFK Stack（官方推荐）

EFK由Elasticsearch（存储/索引）、Fluentd（收集/转发）、Kibana（可视化）组成，适合需要全文检索、复杂分析的场景。

Fluentd部署（DaemonSet模式）：
通过DaemonSet在每个节点上运行1个Fluentd实例，收集节点上/var/log/containers/*.log（容器日志）、/var/log/kubelet.log（kubelet日志）等文件，并转发至Elasticsearch。
示例DaemonSet配置（简化版）：

apiVersion: apps/v1 kind: DaemonSet metadata: name: fluentd-logging namespace: kube-system spec: selector: matchLabels: app: fluentd template: metadata: labels: app: fluentd spec: containers: - name: fluentd image: fluent/fluentd-kubernetes-daemonset:v1.16 env: - name: FLUENT_ELASTICSEARCH_HOST value: "elasticsearch.kube-system.svc.cluster.local" # Elasticsearch服务地址 - name: FLUENT_ELASTICSEARCH_PORT value: "9200" resources: limits: memory: 500Mi requests: cpu: 100m memory: 200Mi volumeMounts: - name: varlog mountPath: /var/log - name: varlibdockercontainers mountPath: /var/lib/docker/containers readOnly: true volumes: - name: varlog hostPath: path: /var/log - name: varlibdockercontainers hostPath: path: /var/lib/docker/containers

应用配置后，Fluentd会自动收集节点上所有容器的日志并发送至Elasticsearch。

2. Filebeat（轻量替代）

若集群资源有限，可使用Filebeat（轻量级日志收集器）替代Fluentd。Filebeat部署为Sidecar容器，与业务Pod共享卷，收集容器日志并转发至Elasticsearch。
示例Pod配置：

apiVersion: v1 kind: Pod metadata: name: payment-service spec: containers: - name: app image: payment:v1.2 volumeMounts: - name: logs mountPath: /var/log/app - name: filebeat image: docker.elastic.co/beats/filebeat:8.9 volumeMounts: - name: logs mountPath: /var/log/app - name: filebeat-config mountPath: /usr/share/filebeat/filebeat.yml subPath: filebeat.yml volumes: - name: logs emptyDir: {} - name: filebeat-config configMap: name: filebeat-config

需提前创建ConfigMap配置Filebeat（指向Elasticsearch地址）。

三、日志存储：选择持久化方案

日志需长期保存，常见存储方案：

Elasticsearch：适合需要全文检索、复杂分析的场景，支持水平扩展，但资源消耗较高。
Loki：轻量级日志聚合系统（专为Kubernetes设计），资源消耗低，与Prometheus集成好，适合日志+监控统一管理。
对象存储（S3/MinIO）：适合长期归档，成本低，但无法实时检索。

四、日志查看与分析：可视化工具

Kibana（EFK）：通过Kibana创建索引模式（如k8s-logs-*），使用Discover查看实时日志，Dashboard构建可视化面板（如错误日志趋势、Pod日志量排名）。
Grafana（Loki）：若使用Loki，可通过Grafana的Explore功能查询日志，支持标签过滤（如namespace=prod、pod_name=payment-service）。
命令行工具：
- kubectl logs：查看Pod日志（示例：kubectl logs -f payment-service-abcde -n prod 实时查看）；
- kubectl logs --previous：查看容器重启前的日志；
- kubectl logs -c <container-name>：查看多容器Pod中指定容器的日志。

五、日志轮转与清理：防止磁盘爆满

容器日志默认存储在节点/var/log/containers目录，需通过logrotate配置轮转规则，避免日志文件过大。
示例/etc/logrotate.d/kubernetes-containers配置：

/var/lib/docker/containers/*/*.log { daily # 每天轮转 rotate 7 # 保留7天 compress # 压缩旧日志 delaycompress # 延迟压缩（避免压缩当天日志） missingok # 文件不存在不报错 notifempty # 空文件不轮转 copytruncate # 复制后截断原文件（不影响正在写入的日志） }

此配置会每天轮转Docker容器日志，保留最近7天的压缩日志，节省磁盘空间。

六、日志监控与告警：及时发现问题

结合Prometheus+Alertmanager实现日志监控与告警：

Prometheus：采集Elasticsearch/Loki的日志指标（如日志量、错误日志数、索引延迟）。
Alertmanager：设置告警规则（如“5分钟内错误日志数超过100条”），通过邮件、Slack等方式通知运维人员。
示例Prometheus告警规则：

groups: - name: k8s-log-alerts rules: - alert: HighErrorLogs expr: rate(elasticsearch_indices_indexing_slowlog_total[5m]) > 100 for: 5m labels: severity: critical annotations: summary: "K8s集群错误日志过多 (instance {{ $labels.instance }})" description: "5分钟内错误日志数超过100条，需立即排查"

七、最佳实践

日志输出规范：应用程序应输出结构化日志（如JSON格式），包含timestamp、level、message、pod_name等字段，便于后续检索和分析。
日志分级：根据日志重要性分为DEBUG（调试）、INFO（常规）、WARN（警告）、ERROR（错误），设置不同保留策略（如ERROR日志保留30天，DEBUG日志保留7天）。
敏感信息过滤：使用Fluentd/Filebeat的过滤插件（如grok、mutate）脱敏日志中的敏感信息（如银行卡号、密码）。
资源限制：为日志收集器（Fluentd、Filebeat）设置合理的resources.limits（如内存限制500Mi），避免因日志量过大导致节点OOM。

通过以上步骤，可在CentOS环境的Kubernetes集群中实现高效的日志管理，满足故障排查、性能优化、安全审计等需求。