Hadoop在Linux上如何部署与配置

在Linux上部署和配置Hadoop涉及多个步骤，以下是详细的指南：

环境准备

1. 安装Java：

   • 在Ubuntu上：

     sudo apt update sudo apt install openjdk-8-jdk 

   • 在CentOS上：

     sudo yum install java-1.8.0-openjdk-devel 

   • 检查Java安装是否成功：

     java -version 

2. 安装SSH：

   • 确保可以无密码连接到所有节点。
   • 在Ubuntu上：

     sudo apt install openssh-server 

   • 在CentOS上：

     sudo yum install openssh-server 

   • 生成SSH密钥并分发到所有节点：

     ssh-keygen -t rsa ssh-copy-id user@node1 ssh-copy-id user@node2 

下载和配置Hadoop

1. 下载Hadoop：

   • 访问Apache Hadoop官方网站，下载所需版本的Hadoop安装包。例如，下载Hadoop 3.3.0版本：

     wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz 

   • 解压安装包：

     tar -xzvf hadoop-3.3.0.tar.gz -C /usr/local/hadoop 

2. 配置环境变量：

   • 编辑~/.bashrc文件，添加以下内容：

     export HADOOP_HOME=/usr/local/hadoop export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

   • 使配置生效：

     source ~/.bashrc 

配置Hadoop

1. 修改配置文件：
   • core-site.xml：

     <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 

   • hdfs-site.xml：

     <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/dfs/data</value> </property> </configuration> 

   • mapred-site.xml：

     <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 

   • yarn-site.xml：

     <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property> </configuration> 

启动Hadoop

1. 格式化HDFS：

   hdfs namenode -format 

2. 启动Hadoop集群：

   start-dfs.sh start-yarn.sh 

3. 验证安装：

   • 使用以下命令查看Hadoop的状态：

     jps 

   • 访问Hadoop Web界面，确认HDFS和YARN是否正常运行：
     • HDFS Web UI: http://localhost:9870
     • YARN Resource Manager: http://localhost:8088

通过以上步骤，您可以在Linux上成功部署和配置Hadoop。希望这些信息对您有所帮助。