CentOS Hadoop 集群怎么搭建

以下是在CentOS上搭建Hadoop集群的步骤：

1. 环境准备：
   • 确保至少有2-3台CentOS服务器，配置好静态IP、主机名，并配置/etc/hosts文件。
   • 关闭防火墙和SELinux。
   • 安装JDK 1.8或更高版本，并配置环境变量。
2. 下载安装Hadoop：
   • 从Apache官网下载Hadoop安装包，在所有节点上解压到指定目录，如/opt/hadoop。
   • 配置环境变量，将Hadoop和Java的路径添加到/etc/profile或~/.bashrc中，并执行source命令使其生效。
3. 配置Hadoop：
   • core-site.xml：设置fs.defaultFS为HDFS的URI，如hdfs://主节点IP:9000。
   • hdfs-site.xml：配置副本数dfs.replication，以及NameNode和DataNode的数据存储目录。
   • mapred-site.xml：指定mapreduce.framework.name为yarn。
   • yarn-site.xml：设置yarn.resourcemanager.hostname为ResourceManager所在节点的IP或主机名。
   • 若为高可用集群，还需配置JournalNode等相关参数。
4. 配置SSH免密登录：在主节点上生成SSH密钥，将公钥复制到所有从节点，实现主节点到从节点的免密登录。
5. 启动集群：
   • 在主节点上格式化HDFS（仅首次启动时执行）：hdfs namenode -format。
   • 启动HDFS和YARN：start-dfs.sh和start-yarn.sh。
6. 验证集群：使用jps命令查看进程，确保NameNode、DataNode、ResourceManager、NodeManager等进程正常运行，也可通过浏览器访问HDFS和YARN的Web界面查看状态。