Linux中Hadoop的日志如何查看

Linux中查看Hadoop日志的方法如下：

1. 定位日志路径

   • 默认路径：$HADOOP_HOME/logs（如/usr/local/hadoop/logs），包含NameNode、DataNode、ResourceManager等组件日志。
   • 配置文件可自定义路径（如修改log4j.properties）。

2. 常用查看命令

   • 实时查看：tail -f <日志文件>（如tail -f hadoop-hadoop-namenode-*.log）。
   • 查看前N行：head -n 10 <日志文件>。
   • 搜索关键词：grep "ERROR" <日志文件>。
   • 分页查看：less <日志文件>（支持搜索，按q退出）。

3. 工具与Web界面

   • Hadoop Web界面：通过ResourceManager（端口8088）或NameNode（端口50070）查看作业日志。
   • 命令行工具：yarn logs查看作业日志，hadoop fs查看HDFS日志。

示例：

• 查看DataNode实时日志：tail -f $HADOOP_HOME/logs/hadoop-hadoop-datanode-*.log。
• 搜索任务失败日志：grep "FAILED" $HADOOP_HOME/logs/userlogs/*.log。