centos k8s日志管理方案

在CentOS上部署和管理Kubernetes（k8s）集群的日志是一个重要的任务，它可以帮助你监控、调试和分析应用程序的运行状况。以下是一些常用的日志管理方案：

日志收集方案

• DaemonSet：在每个节点上运行一个日志收集程序，适用于集群规模较大、日志采集需求一致的场景。
• Sidecar：在每个Pod中附加一个日志收集容器，与业务容器共享日志目录，适用于单个应用需要定制化日志采集逻辑的场景。
• 应用程序直接推送日志：应用直接将日志发送到日志系统，如Elasticsearch，适用于日志量极大的场景。

日志存储

• 本地存储：日志可以存储在节点的本地文件系统中，如 /var/log/containers/。
• 集中存储：使用分布式存储系统，如Elasticsearch，可以存储和索引大量的日志数据。

日志分析

• ELK Stack（Elasticsearch, Logstash, Kibana）：一种常见的日志分析解决方案，用于收集、存储和分析日志数据。
• 其他工具：如Prometheus、Grafana等，可以用于日志数据的监控和可视化。

日志轮转和管理

• logrotate：用于管理日志文件的轮转、压缩和删除旧的日志文件，以避免无限制地消耗磁盘空间。

日志监控和告警

• Prometheus：可以配置日志监控和告警，通过抓取日志数据来设置警报规则。

部署EFK（Elasticsearch, Fluentd, Kibana）日志系统的步骤

1. 安装Elasticsearch：

   apiVersion: v1 kind: Service metadata: name: elasticsearch spec: ports: - port: 9200 targetPort: 9200 selector: app: elasticsearch --- apiVersion: apps/v1 kind: StatefulSet metadata: name: elasticsearch spec: replicas: 1 selector: matchLabels: app: elasticsearch template: metadata: labels: app: elasticsearch spec: containers: - name: elasticsearch image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1 ports: - containerPort: 9200 containerPort: 9300 

2. 安装Fluentd：

   apiVersion: apps/v1 kind: DaemonSet metadata: name: fluentd spec: selector: matchLabels: app: fluentd template: metadata: labels: app: fluentd spec: containers: - name: fluentd image: fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearch env: - name: FLUENT_ELASTICSEARCH_HOST value: "elasticsearch.logging.svc.cluster.local" - name: FLUENT_ELASTICSEARCH_PORT value: "9200" 

3. 安装Kibana：

   apiVersion: v1 kind: Service metadata: name: kibana spec: type: NodePort ports: - port: 5601 targetPort: 5601 nodePort: 31000 selector: app: kibana --- apiVersion: apps/v1 kind: Deployment metadata: name: kibana spec: replicas: 1 selector: matchLabels: app: kibana template: metadata: labels: app: kibana spec: containers: - name: kibana image: docker.elastic.co/kibana/kibana:7.12.1 env: - name: ELASTICSEARCH_HOSTS value: "http://elasticsearch.logging.svc.cluster.local:9200" 

通过上述方法，你可以在CentOS上有效地管理k8s集群的日志，确保应用程序的运行状况得到有效监控和分析。