一、监控集群状态
使用Hadoop自带工具（如hdfs dfsadmin -report查看HDFS节点状态、NameNode/ResourceManager Web UI监控集群健康）、第三方工具（如Ganglia、Prometheus+Grafana组合）实现实时监控，覆盖CPU、内存、磁盘I/O、网络带宽等指标，并配置邮件/短信告警，及时发现资源瓶颈或节点异常。
二、硬件维护与系统优化
定期检查服务器硬件状态（硬盘SMART健康度、内存使用率、CPU负载、网络接口流量），确保硬件正常运行；使用SSD替代传统机械硬盘提升I/O性能，采用万兆以太网或InfiniBand提高网络带宽；通过ntpd或chronyd服务同步集群节点时间，避免因时间不一致导致的任务调度错误。
三、软件更新与补丁管理
定期更新Hadoop至最新稳定版本（如Apache Hadoop 3.3.x及以上），获取性能改进（如YARN动态资源分配优化）和安全修复（如Kerberos认证漏洞修补）；更新前在测试环境验证新版本的兼容性（如Hive、Spark等生态组件是否能正常运行）；同步更新操作系统安全补丁（如CentOS的yum update、Ubuntu的apt upgrade），关闭不必要的系统服务。
四、数据安全管理
配置Kerberos认证，强制用户通过票据认证访问集群，防止未授权访问；设置HDFS文件/目录的ACL（访问控制列表），精细化控制用户/组的读、写、执行权限（如hdfs dfs -setfacl -m user:admin:rwx /data）；定期备份NameNode元数据（如通过hdfs dfsadmin -safemode enter进入安全模式后，复制/namenode/current目录到异地），并测试备份数据的可恢复性。
五、性能优化调整
根据数据特性调整HDFS块大小（如大文件场景设置为256MB或512MB，减少NameNode元数据压力；小文件场景可合并小文件或使用HAR归档）；优化MapReduce/YARN配置（如mapreduce.map.memory.mb设置为4GB、reduce.memory.mb设置为8GB，根据任务负载调整；yarn.scheduler.maximum-allocation-mb设置为节点内存的80%，避免资源过度分配）；启用数据压缩（如MapReduce输出使用Snappy编解码器，减少磁盘I/O和网络传输开销）；使用数据本地化策略（通过mapreduce.job.locality.wait参数设置为10s，尽量让任务在数据所在节点执行，降低网络传输成本）。
六、节点管理（添加/删除）
添加节点：配置新节点与NameNode的SSH免密登录；在主节点/etc/hosts文件中添加新节点IP和主机名，并同步到集群所有节点；在NameNode的slaves文件中添加新节点主机名；在新节点启动DataNode（sbin/hadoop-daemon.sh start datanode）和NodeManager（sbin/yarn-daemon.sh start nodemanager）进程；在主节点执行hdfs dfsadmin -refreshNodes刷新节点列表，等待新节点状态变为“Live”。
删除节点：在主节点hdfs-site.xml中配置dfs.hosts.exclude属性（指向包含待退役节点主机名的文件，如/usr/local/hadoop/etc/hadoop/datanode-deny.list）；在slaves文件中注释或删除待退役节点；执行hdfs dfsadmin -refreshNodes刷新节点列表，待节点状态变为“Decommissioned”（数据复制完成）后，停止该节点进程并从datanode-deny.list中移除主机名。
七、故障排查与处理
收集NameNode、DataNode、ResourceManager、NodeManager等组件的日志（默认位于/var/log/hadoop-*目录），通过日志分析常见故障（如NameNode无法启动可能是元数据损坏，DataNode无法连接可能是网络问题或端口被占用）；使用jstack命令分析进程堆栈（如jstack <pid>），定位线程阻塞或死锁问题；通过top、iotop、netstat等命令监控系统资源使用情况，快速定位资源瓶颈（如CPU占用过高可能是Map任务过多，磁盘I/O过高可能是小文件过多）。
八、自动化运维
使用Ansible编写Playbook实现集群部署（如批量安装Hadoop、配置环境变量）、配置管理（如统一修改core-site.xml中的fs.defaultFS参数）、日常任务（如定期清理DataNode临时文件/tmp、备份NameNode元数据），减少手动操作误差；通过脚本自动化执行监控任务（如每天凌晨生成集群资源使用报告），提高运维效率。
