在CentOS上配置HDFS（Hadoop分布式文件系统）的资源管理，通常涉及两个主要组件：YARN（Yet Another Resource Negotiator）和MapReduce。以下是设置这些组件的基本步骤：
首先，确保你已经在CentOS上安装了Hadoop。你可以从Apache Hadoop官方网站下载并按照安装指南进行安装。
YARN负责集群资源的分配和管理。以下是一些关键配置文件的修改：
core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://your-namenode-host:8020</value> </property> </configuration> hdfs-site.xml<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/namenode/dir</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/datanode/dir</value> </property> </configuration> yarn-site.xml<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>your-resourcemanager-host</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>4</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.scheduler.capacity.maximum-am-resource-percent</name> <value>0.5</value> </property> </configuration> MapReduce负责处理数据。以下是一些关键配置文件的修改：
mapred-site.xml<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>your-jobhistory-host:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>your-jobhistory-host:19888</value> </property> </configuration> 完成配置后，启动Hadoop集群：
start-dfs.sh start-yarn.sh 你可以通过以下命令验证YARN和MapReduce是否正常运行：
jps 你应该看到以下进程：
使用Hadoop的Web界面监控集群状态，并根据需要调整资源配置。例如，你可以通过ResourceManager Web界面查看资源使用情况和应用程序状态。
通过以上步骤，你可以在CentOS上配置HDFS的资源管理。根据你的具体需求，可能需要进一步调整配置参数。
