Hadoop在Ubuntu上的任务调度怎样实现

在实现任务调度前，需确保Hadoop已在Ubuntu上正确安装并配置为伪分布式或集群模式（推荐伪分布式用于学习，集群模式用于生产）。核心配置文件位于$HADOOP_HOME/etc/hadoop目录下，需修改以下文件：

core-site.xml：设置HDFS默认文件系统（如fs.defaultFS=hdfs://localhost:9000）；
hdfs-site.xml：配置HDFS数据块复制因子（如dfs.replication=1，伪分布式模式下设为1）；
mapred-site.xml（需复制模板生成）：指定MapReduce框架为YARN（如mapreduce.framework.name=yarn）；
yarn-site.xml：配置YARN资源管理（如yarn.nodemanager.aux-services=mapreduce_shuffle、yarn.nodemanager.aux-services.mapreduce.shuffle.class=org.apache.hadoop.mapred.ShuffleHandler）。
配置完成后，启动HDFS（start-dfs.sh）和YARN（start-yarn.sh），并通过jps命令验证进程（Master节点需有NameNode、ResourceManager，Slave节点需有DataNode、NodeManager）。

YARN（Yet Another Resource Negotiator）是Hadoop 2.x及以上版本的核心资源管理系统，负责任务调度与资源分配。提交任务的步骤如下：

编写MapReduce程序：使用Java编写Map（处理输入数据分片）和Reduce（聚合Map输出）类，编译打包为JAR文件（如my-job.jar）；
上传作业到HDFS：使用hadoop fs -put my-job.jar /user/hadoop/jobs/将JAR文件上传至HDFS；
提交任务：通过hadoop jar命令提交作业，指定输入输出路径（如hadoop jar /user/hadoop/jobs/my-job.jar com.example.MyJobClass /input/data /output/result）；
监控任务：使用yarn application -list查看所有运行中的任务，yarn application -status <application_id>查看任务详情。

YARN支持多种调度策略，可根据集群资源使用情况和作业特性选择：

FIFO Scheduler（先进先出）：默认调度器，按作业提交顺序执行，适合小规模集群；
Capacity Scheduler（容量调度）：支持多队列（如default、high_priority），每个队列分配固定资源容量，适合多租户环境（如生产与测试任务分离）；
Fair Scheduler（公平调度）：动态分配资源，确保所有作业公平共享集群资源，适合批处理作业混合执行。
配置方法：修改$HADOOP_HOME/etc/hadoop/yarn-site.xml，添加调度器类（如yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler），并调整队列参数。

对于复杂的任务依赖（如“先执行ETL任务，再执行分析任务”）或定时执行需求（如每天凌晨处理日志），可使用以下工具：

Apache Oozie：Hadoop原生工作流调度系统，支持定义**DAG（有向无环图）**任务流（如MapReduce、Hive、Pig任务的依赖关系），通过oozie job -run命令提交工作流，或通过Web界面管理；
Apache Airflow：Python编写的分布式任务调度平台，提供DAG定义（通过Python代码描述任务依赖）、Web界面（可视化任务状态）、定时触发（支持Cron表达式）等功能，适合大规模、跨系统的工作流调度；
Crontab：Linux系统自带的定时任务工具，适合简单的定时任务（如每天凌晨执行hadoop jar命令），通过crontab -e编辑定时规则（如0 2 * * * /usr/bin/hadoop jar /path/to/job.jar com.example.MyJobClass /input /output）。

以上方法覆盖了Hadoop在Ubuntu上的不同调度需求，从原生命令行到自动化工具，可根据实际场景选择合适的方式。

最新问答