centos上k8s故障如何排查

在CentOS上排查Kubernetes（k8s）故障可以通过以下步骤进行：

基本命令和步骤

1. 检查节点状态： 使用 kubectl get nodes 命令来检查各个节点的状态，确认是否有节点未能就绪或出现异常状态。

2. 查看事件日志： 使用 kubectl get events 命令查看集群中发生的事件，深入了解与集群中重要事件和错误相关的信息。

3. 检查Pod状态： 使用 kubectl get pods --all-namespaces 命令获取所有Pod的状态，并通过 kubectl describe pod pod_name 获取特定Pod的详细信息。

4. 检查网络连通性： 使用 kubectl get services 命令查看服务状态，并验证网络策略和防火墙规则的正确配置。

5. 审视存储配置： 使用 kubectl get pv, kubectl get pvc, 和 kubectl get storageclass 命令检查存储卷声明、存储类和持久卷的状态。

6. 研究容器日志： 使用 kubectl logs pod_name -c container_name 命令查看特定Pod中容器的日志输出。

专用工具

• kubectl-debug： 这是一个强大的 kubectl 插件，通过启动一个调试工具容器，并将其加入到目标业务容器的pid、network、user以及ipc namespace中，使用netstat、tcpdump等工具进行故障排查。

异常场景排查

• 网络问题排查： 测试节点之间的连通性，例如通过ping命令测试节点间的网络连接。使用 kubectl describe pod pod_name 查看Pod的网络配置和事件。

• 应用程序故障排查： 针对Pod级别的故障，使用 kubectl describe pod pod_name 查看Pod的事件和状态。使用 kubectl logs pod_name -c container_name 查看容器的日志，定位问题。

示例：解决OOMKilled问题

1. 识别OOMKilled： 在Pod状态中发现 OOMKilled，表示Pod因内存不足被系统杀掉。

2. 分类排查：

   • 宿主节点行为：Pod未设置资源限制，导致消耗宿主机资源过多。
   • k8s行为：Pod设置了资源限制，超过限制后被cgroups杀掉。

3. 使用工具诊断： 使用 kubectl logs 查看Pod日志，分析内存使用情况和可能的内存泄漏。 使用 kubectl describe pod 查看Pod的详细信息，包括资源请求和限制。

通过上述方法和工具，可以系统地对Kubernetes集群进行故障排查，快速定位并解决问题，确保系统的稳定运行。