如何排查K8s Scheduler在调度pod过程中遗漏部分节点的问题

# 如何排查Kubernetes Scheduler在调度Pod过程中遗漏部分节点的问题 ## 引言 Kubernetes作为当前最流行的容器编排平台，其调度器（Scheduler）负责将Pod分配到合适的节点上运行。但在实际生产环境中，我们经常会遇到Scheduler未能正确评估所有可用节点的情况，导致部分符合条件的节点被意外忽略。这类问题可能由多种因素引起，包括但不限于： - 节点资源不足 - 节点标签不匹配 - 污点（Taint）与容忍（Toleration）配置问题 - 调度器策略配置错误 - 系统组件异常 本文将系统性地介绍排查这类问题的完整方法论，包含理论基础、工具使用和实践案例。 --- ## 一、理解Kubernetes调度流程 ### 1.1 调度器核心工作流程 ```go // 伪代码表示调度流程 for pod := range unscheduledPods { nodes := GetAllNodes() feasibleNodes := Filter(pod, nodes) // 过滤阶段 prioritizedNodes := Score(feasibleNodes) // 评分阶段 selectedNode := Select(prioritizedNodes) Bind(pod, selectedNode) } 

1.2 关键调度阶段

1. 过滤阶段（Filtering）：

   • 检查节点资源是否满足requests
   • 验证节点Selector与Pod Affinity/Anti-affinity
   • 检查污点与容忍配置

2. 评分阶段（Scoring）：

   • 根据资源平衡策略打分
   • 考虑亲和性权重
   • 应用自定义调度策略

---

二、常见问题分类与症状

2.1 资源相关遗漏

• 典型表现：节点有足够allocatable资源但未被选中
• 检查要点：

   kubectl describe node <node-name> | grep -A 10 Allocatable kubectl get pod -A -o wide | grep <node-name> 

2.2 标签与选择器不匹配

• 诊断命令：

   kubectl get nodes --show-labels kubectl get pod <pod-name> -o yaml | grep nodeSelector -A 5 

2.3 污点与容忍问题

• 排查方法：

   kubectl describe node | grep Taints kubectl get pod <pod-name> -o yaml | grep -i toleration -A 3 

2.4 调度策略限制

• 检查方向：
  • 查看Predicates配置
  • 检查Priority Functions
  • 验证自定义调度插件

---

三、系统化排查方法论

3.1 基础信息收集

1. 获取调度器日志：

   kubectl logs -n kube-system <scheduler-pod> --v=5 | grep -i "filtering" 

2. 检查事件记录：

   kubectl get events --sort-by=.metadata.creationTimestamp 

3.2 调度过程模拟分析

使用kubectl describe获取调度决策详情：

kubectl describe pod <pending-pod> | grep -i events -A 20 

3.3 高级诊断工具

1. 调度器性能分析：

   curl http://localhost:10251/debug/pprof/profile -o scheduler.pprof 

2. 使用Scheduler Framework日志： “`yaml apiVersion: kubescheduler.config.k8s.io/v1beta2 kind: KubeSchedulerConfiguration profiles:

   • schedulerName: default-scheduler pluginConfig:
     • name: Filter args: loggingVerbosity: 5

   ”`

---

四、典型场景案例解析

4.1 案例一：节点资源碎片化

现象：节点显示有足够内存但Pod无法调度
根因：内存碎片导致无法分配连续内存块
解决方案：

kubectl top node kubectl describe node | grep -A 10 "Allocated resources" 

4.2 案例二：Pod拓扑约束冲突

错误配置：

affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchLabels: app: web topologyKey: kubernetes.io/hostname 

4.3 案例三：自定义调度器冲突

诊断步骤： 1. 检查调度器配置 2. 验证扩展点注册 3. 分析调度器插件日志

---

五、深度调试技巧

5.1 调度器缓存检查

kubectl get --raw /debug/api/v1/scheduler_cache | jq . 

5.2 使用调度器跟踪

// 示例跟踪配置 tracing: endpoint: jaeger-collector:14268 samplingRatePerMillion: 1000 

5.3 关键指标监控

• scheduler_pending_pods
• scheduler_scheduling_attempt_duration_seconds
• scheduler_framework_extension_point_duration_seconds

---

六、预防与最佳实践

6.1 定期维护建议

1. 节点资源碎片整理
2. 调度策略评审会议
3. 调度器版本升级规划

6.2 配置检查清单

- [ ] 验证节点资源报告准确性 - [ ] 检查Pod QoS配置 - [ ] 审核Affinity规则 - [ ] 验证污点配置 

6.3 自动化验证方案

apiVersion: batch/v1 kind: Job metadata: name: scheduler-test spec: template: spec: containers: - name: test image: busybox resources: requests: memory: "1Gi" tolerations: [...] 

---

结语

通过系统化的排查方法，结合Kubernetes提供的丰富诊断工具，我们可以有效解决调度器节点遗漏问题。建议建立常态化的调度健康检查机制，并持续关注调度器的新特性发展。当遇到复杂场景时，可考虑使用自定义调度插件来满足特殊业务需求。

注：本文所有命令基于Kubernetes 1.25+版本，不同版本可能存在参数差异。 “`

这篇文章包含了： 1. 完整的排查方法论框架 2. 具体命令和配置示例 3. 常见案例分析 4. 深度调试技巧 5. 预防性建议 6. 版本兼容性说明

可根据实际环境需求调整具体参数和案例细节。建议配合实际集群数据进行验证测试。