监控Ubuntu上的Hadoop可采用以下方式:
一、自带工具
- Hadoop Admin UI:通过Web界面查看集群基本状态。
- ResourceManager Web UI(http://:8088):监控资源分配和任务执行。
- NameNode Web UI(http://:50070):查看HDFS状态、文件系统信息。
二、第三方工具
- Apache Ambari:支持Hadoop组件集中管理,提供可视化监控和告警。
- Prometheus + Grafana:通过JMX接口采集指标,结合Grafana实现数据可视化。
- Ganglia:分布式监控系统,适合大规模集群,可监控CPU、内存等指标。
三、命令行工具
- hdfs dfsadmin -report:查看数据节点状态。
- yarn node -list:查看节点信息。
- yarn application -list:查看运行中的作业。
四、自定义监控
编写脚本定期采集指标(如资源使用率、作业状态),输出到日志或集成到监控系统。
五、告警机制
结合工具设置阈值告警(如资源不足、节点故障),通过邮件/短信通知。
以上工具可根据集群规模和需求选择,小型集群可优先使用自带工具,大型集群建议采用Ambari+Prometheus组合。