在CentOS上高效部署Hadoop分布式文件系统（HDFS）涉及多个步骤，包括环境准备、安装和配置Hadoop、配置免密登录、格式化NameNode以及启动HDFS服务等。以下是一个详细的步骤指南：
1. 环境准备
- 服务器准备：准备至少三台CentOS服务器，分别命名为NameNode、DataNode1、DataNode2等。
- 网络配置：确保所有服务器在同一网络中，配置静态IP地址，并修改
/etc/hosts文件以正确映射主机名到IP地址。 - SSH配置：配置SSH免密登录，以便在节点之间无需密码即可相互访问。
2. 安装Java环境
- 在所有节点上安装Java Development Kit (JDK)，并配置
JAVA_HOME环境变量。
3. 下载和解压Hadoop
- 从Apache Hadoop官方网站下载最新版本的Hadoop安装包，并解压到指定目录。
4. 配置Hadoop环境变量
- 编辑
/etc/profile文件，添加Hadoop的安装路径和JAVA_HOME路径。 - 使环境变量生效：
source /etc/profile。
5. 配置HDFS
- core-site.xml：配置HDFS的默认URI。
- hdfs-site.xml：配置HDFS的存储目录、副本数等。
- mapred-site.xml和yarn-site.xml：配置MapReduce和YARN的相关参数。
6. 格式化NameNode
- 在NameNode节点上执行格式化命令：
hdfs namenode -format。
7. 启动HDFS
- 启动NameNode和DataNode服务：
start-dfs.sh和start-yarn.sh。
8. 验证部署
- 使用
hdfs dfs -ls命令验证HDFS是否正常工作。
9. 高可用性配置（可选）
- 配置ZooKeeper集群，实现NameNode的高可用性。
- 配置HDFS联邦，实现集群的横向扩展。
10. 性能优化
- 调整块大小：根据工作负载调整块大小。
- 数据本地性：增加DataNode数量，减少网络传输。
- 副本数量：根据需求调整副本数。
- 避免小文件：合并小文件以减少NameNode负载。
- 硬件升级：使用更快的CPU、内存、硬盘和网络设备。
- 集群横向扩容：通过增加NameNode和DataNode来扩展集群。
请注意，上述步骤可能需要根据您的具体环境和需求进行调整。在部署过程中，确保所有配置文件正确无误，并且所有服务都已正确启动。此外，对于生产环境，建议详细规划集群的扩展性和高可用性，以确保系统的稳定性和可靠性。
