在CentOS上配置Hadoop分布式文件系统（HDFS）时，有几个关键点需要注意：
- 环境准备：
- 安装JDK：确保安装了适当版本的JDK，因为Hadoop需要Java环境来运行。
- 配置静态IP：为了避免IP地址变化导致的问题，建议配置静态IP地址。
- 用户权限：
- 创建普通用户：建议创建一个普通用户来操作Hadoop，以避免权限问题。
- 配置SSH免密登录：为了方便管理，配置SSH免密登录，这样可以在不输入密码的情况下访问其他节点。
- Hadoop安装：
- 下载Hadoop：从官方网站下载对应版本的Hadoop安装包。
- 解压Hadoop：将下载的Hadoop包解压到指定目录。
- 配置环境变量：编辑
/etc/profile文件，添加Hadoop的路径和库路径，然后执行source /etc/profile使配置生效。
- 配置Hadoop环境文件：
- core-site.xml：配置HDFS的默认文件系统和临时目录。
- hdfs-site.xml：配置数据块大小、副本数等参数。
- mapred-site.xml和yarn-site.xml：配置MapReduce和YARN的相关参数。
- 格式化NameNode：
- 在启动Hadoop集群之前，需要格式化NameNode。这是通过执行
hdfs namenode -format命令完成的。
- 启动HDFS：
- 使用
start-dfs.sh脚本启动HDFS集群。
- 常见问题排查：
- 权限问题：检查Hadoop目录和文件的权限设置。
- 文件属主不一致：确保文件属主与Hadoop进程的用户一致。
- 安全模式：如果集群处于安全模式，需要退出安全模式才能进行写操作。
- 日志分析：通过查看Hadoop的日志文件来排查问题。
- 系统优化：
- 根据业务需求和服务器配置合理设置HDFS的配置项，如
dfs.namenode.handler.count和dfs.datanode.handler.count等，以提高性能。
请注意，具体的配置步骤可能会根据Hadoop版本和具体需求有所不同。建议参考官方文档或相关教程进行详细配置。
