CentOS HDFS如何实现高可用性

在CentOS上实现HDFS高可用性（High Availability, HA）主要涉及配置主备NameNode、使用ZooKeeper进行状态监控和故障切换，以及配置JournalNode来共享编辑日志以实现数据同步。以下是详细的步骤和配置说明：

1. 架构概述

Active NameNode：负责处理所有客户端请求。
Standby NameNode：作为Active NameNode的备份，保持与Active NameNode的状态同步。
ZooKeeper：用于监控NameNode的状态并协调故障切换。
JournalNode：存储NameNode的编辑日志（edits log），用于数据同步。

2. 配置步骤

2.1 安装和配置ZooKeeper

下载并解压ZooKeeper：

wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz tar -xzf apache-zookeeper-3.8.0-bin.tar.gz cd apache-zookeeper-3.8.0

配置ZooKeeper：编辑conf/zoo.cfg文件，设置数据目录和客户端连接端口：
```
dataDir=/var/lib/zookeeper clientPort=2181 
```
在每个NameNode节点上创建myid文件：
```
echo 1 > /var/lib/zookeeper/myid 
```
启动ZooKeeper服务：
```
./bin/zkServer.sh start 
```

2.2 配置Hadoop

修改hdfs-site.xml文件：

<configuration> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>namenode1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>namenode2:8020</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>namenode1:50070</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>namenode2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value> </property> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property> </configuration>

修改core-site.xml文件：

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> </configuration>

2.3 格式化和启动NameNode

在Active NameNode上格式化NameNode：
```
hdfs namenode -format 
```
启动NameNode：
```
sbin/hadoop-daemon.sh start namenode 
```
将Active NameNode的元数据复制到Standby NameNode：
```
hdfs namenode -bootstrapStandby 
```
启动Standby NameNode：
```
sbin/hadoop-daemon.sh start namenode 
```

2.4 启动JournalNode

在每个节点上启动JournalNode进程：

sbin/hadoop-daemon.sh start journalnode

3. 验证高可用性

使用浏览器访问http://namenode1:50070查看NameNode状态。
模拟NameNode故障，观察Standby NameNode是否能够自动切换为Active状态。

通过以上步骤，您可以在CentOS上配置一个高可用的HDFS集群，确保在发生故障时能够快速切换并继续提供服务。