在CentOS上进行Kubernetes（k8s）部署故障排查时，可以遵循以下步骤：
1. 检查网络连接
- 确保节点间网络互通：使用
ping命令检查节点间的连通性。 - 检查DNS配置：确保Kubernetes组件能够正确解析服务名称。
2. 查看Kubernetes集群状态
- 使用
kubectl get nodes：查看所有节点的状态，确认它们是否都处于Ready状态。 - 使用
kubectl get pods --all-namespaces：检查所有命名空间中的Pod状态，查找是否有Pod处于Pending、Error或CrashLoopBackOff状态。
3. 分析日志
- 查看kubelet日志：通常位于
/var/log/kubelet.log，检查是否有错误信息。 - 查看kube-proxy日志：如果使用的是kube-proxy，检查其日志以了解网络代理的问题。
- 查看控制器管理器日志：例如，etcd、scheduler等组件的日志，这些日志通常位于相应的日志目录下。
4. 检查配置文件
- 验证YAML文件：使用
kubectl apply -f <filename>.yaml时，确保文件格式正确且没有语法错误。 - 检查配置项：确认所有必要的配置项都已正确设置，例如资源限制、存储卷等。
5. 使用诊断工具
- kubectl describe pod `：获取Pod的详细信息，包括事件和条件。
- kubectl logs ：查看Pod的日志输出。
- kubectl exec – /bin/sh：进入Pod内部执行命令，进行更深入的诊断。
6. 检查系统资源
- 使用
top或htop：监控CPU和内存使用情况。 - 使用
df -h：检查磁盘空间是否充足。 - 使用
free -m：查看内存使用情况。
7. 更新和重启服务
- 更新Kubernetes组件：确保所有组件都是最新版本，有时问题可能是由于已知的bug引起的。
- 重启kubelet服务：使用
systemctl restart kubelet重启kubelet服务。 - 重启其他相关服务：如kube-proxy、etcd等。
8. 参考官方文档和社区资源
- Kubernetes官方文档：提供详细的故障排除指南和最佳实践。
- 社区论坛和Stack Overflow：搜索类似的问题和解决方案。
9. 使用监控工具
- Prometheus和Grafana：集成监控系统，实时监控集群状态和性能指标。
- ELK Stack：用于日志收集和分析。
10. 逐步回滚
- 如果最近进行了更改：尝试逐步回滚到之前的稳定版本，以确定问题是否由最近的更改引起。
通过以上步骤，可以系统地排查CentOS上Kubernetes部署的故障。记住，故障排查是一个迭代过程，可能需要多次尝试和调整。
