Linux下HDFS配置步骤有哪些

Linux下HDFS配置步骤如下：

1. 环境准备：安装JDK，配置Java环境变量；准备硬件，确保节点网络互通，可配置静态IP和主机名；关闭防火墙或开放相关端口，配置NTP服务保证时钟同步。
2. 安装Hadoop：从官网下载Hadoop安装包，解压到指定目录。
3. 配置环境变量：编辑/etc/profile或~/.bashrc文件，添加HADOOP_HOME和PATH等环境变量，使配置生效。
4. 修改配置文件：
   • core - site.xml：配置fs.defaultFS为hdfs://namenode:9000，还可设置hadoop.tmp.dir等。
   • hdfs - site.xml：设置dfs.replication副本数，配置dfs.namenode.name.dir和dfs.datanode.data.dir等。
   • 若配置高可用，还需在hdfs - site.xml中配置dfs.nameservices、dfs.ha.namenodes等相关参数，在core - site.xml中配置ha.zookeeper.quorum等。
5. 配置SSH免密登录：在所有节点上生成SSH密钥对，并将公钥复制到其他节点。
6. 格式化NameNode：在NameNode节点上执行hdfs namenode -format命令。
7. 启动HDFS集群：在NameNode节点上执行start - dfs.sh脚本启动集群。
8. 验证配置：使用hdfs dfsadmin -report命令查看集群状态，或通过NameNode的Web界面（默认端口50070）查看。