在CentOS上配置HDFS（Hadoop分布式文件系统）任务调度，通常涉及使用YARN（Yet Another Resource Negotiator）作为资源管理层。以下是配置HDFS任务调度的基本步骤：
安装Hadoop： 确保你已经在CentOS上安装了Hadoop，并且HDFS和YARN服务都已经启动。
配置YARN： YARN的配置文件主要位于$HADOOP_HOME/etc/hadoop目录下。关键的配置文件包括：
yarn-site.xml：配置YARN的核心参数，如ResourceManager的地址、应用历史服务器等。mapred-site.xml：配置MapReduce框架的参数，如作业历史服务器地址等。core-site.xml：配置Hadoop的核心参数，如HDFS的默认文件系统URI等。在yarn-site.xml中，你需要配置以下属性：
<property> <name>yarn.resourcemanager.hostname</name> <value>resourcemanager-hostname</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>node-manager-memory</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>node-manager-vcores</value> </property> 在mapred-site.xml中，你可以设置MapReduce作业的默认参数：
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 配置Capacity Scheduler或Fair Scheduler： YARN支持多种调度器，包括Capacity Scheduler和Fair Scheduler。你可以在yarn-site.xml中配置使用的调度器。
对于Capacity Scheduler，启用并配置队列：
<property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value> </property> 然后在capacity-scheduler.xml中配置队列和容量。
对于Fair Scheduler，启用并配置公平性策略：
<property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property> 然后在fair-scheduler.xml中配置队列和公平性策略。
配置HDFS： 在hdfs-site.xml中，确保配置了正确的副本因子和其他HDFS参数。
启动服务： 配置完成后，启动YARN ResourceManager和NodeManager服务：
start-yarn.sh 提交作业： 使用yarn jar命令提交MapReduce作业，YARN将根据配置的调度器来分配资源。
监控和管理： 使用YARN的Web界面来监控作业的运行状态和资源使用情况。
请注意，这些步骤提供了一个基本的指南，实际的配置可能会根据你的具体需求和环境而有所不同。建议查阅Hadoop官方文档以获取更详细的配置说明和最佳实践。
