Ubuntu环境下HBase集群搭建指南（基于Hadoop+Zookeeper）

一、搭建前准备

1. 环境要求

• 基础环境：至少3台Ubuntu服务器（建议2核4G以上，如hadoop100、hadoop200、hadoop300），安装Ubuntu 20.04及以上版本；
• 前置软件：已搭建并正常运行的Hadoop集群（HDFS+YARN，版本建议3.2+）、Zookeeper集群（版本建议3.7+，节点数≥3，用于高可用）；
• 网络配置：所有节点间网络互通，关闭防火墙（sudo ufw disable）或开放必要端口（HBase默认端口：16010（Web UI）、16000（Master）、16020（RegionServer）；Zookeeper默认端口：2181；Hadoop默认端口：9000（HDFS）、8032（YARN））；
• 用户权限：所有节点使用同一普通用户（如hbase）操作，避免权限问题，配置SSH免密登录（ssh-keygen -t rsa生成密钥，ssh-copy-id user@remote分发到其他节点）。

二、安装HBase

1. 下载与解压

• 从Apache官网下载稳定版本的HBase（如2.4.11）：wget https://dlcdn.apache.org/hbase/2.4.11/hbase-2.4.11-bin.tar.gz；
• 解压至/usr/local目录：sudo tar -zxvf hbase-2.4.11-bin.tar.gz -C /usr/local/；
• 重命名文件夹：sudo mv /usr/local/hbase-2.4.11 /usr/local/hbase。

2. 配置环境变量

• 编辑/etc/profile文件，添加以下内容：

  export HBASE_HOME=/usr/local/hbase export PATH=$PATH:$HBASE_HOME/bin:$HBASE_HOME/sbin 

• 生效配置：source /etc/profile；
• 验证安装：hbase version，若显示版本信息则说明安装成功。

三、配置HBase集群

1. 核心配置文件（$HBASE_HOME/conf目录）

（1）hbase-env.sh

• 取消JAVA_HOME注释并设置为JDK路径（如/usr/lib/jvm/java-8-openjdk-amd64）；
• 设置HBASE_MANAGES_ZK=false（使用外部Zookeeper，避免与HBase自带ZooKeeper冲突）；
• 添加Hadoop配置目录路径：export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop（确保HBase能识别Hadoop集群）；
• 调整JVM参数（可选）：export HBASE_HEAPSIZE=4G（设置HBase最大堆内存）、export HBASE_OPTS="-XX:+UseG1GC"（使用G1垃圾回收器提升性能）。

（2）hbase-site.xml

• 配置分布式模式与HDFS存储路径：

  <property> <name>hbase.cluster.distributed</name> <value>true</value> <!-- 启用分布式模式 --> </property> <property> <name>hbase.rootdir</name> <value>hdfs://hadoop100:9000/hbase</value> <!-- HDFS NameNode地址，需与Hadoop core-site.xml中的fs.defaultFS一致 --> </property> 

• 配置Zookeeper集群：

  <property> <name>hbase.zookeeper.quorum</name> <value>hadoop100,hadoop200,hadoop300</value> <!-- ZooKeeper集群节点列表 --> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/usr/local/zookeeper/data</value> <!-- ZooKeeper数据存储目录 --> </property> 

• 可选参数（提升性能）：

  <property> <name>hbase.regionserver.handler.count</name> <value>100</value> <!-- RegionServer处理请求的线程数，根据CPU核心数调整 --> </property> <property> <name>hbase.hregion.max.filesize</name> <value>10GB</value> <!-- Region最大文件大小，超过则触发split --> </property> 

（3）regionservers

• 列出所有RegionServer节点（负责数据存储），每行一个主机名：

  hadoop100 hadoop200 hadoop300 

（4）backup-masters（可选，高可用）

• 若需配置备用Master（提升Master可用性），创建backup-masters文件，添加备用Master主机名（如hadoop200），每行一个。

四、启动HBase集群

1. 启动前置服务

• 启动Hadoop集群：在Hadoop Master节点（hadoop100）执行：

  start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN 

• 启动Zookeeper集群：在Zookeeper每个节点执行：

  zkServer.sh start 

  使用zkServer.sh status验证状态（Leader节点显示“Mode: leader”，Follower节点显示“Mode: follower”）。

2. 启动HBase集群

• 在HBase Master节点（hadoop100）执行：

  start-hbase.sh 

• 验证进程：在Master节点执行jps，应看到HMaster进程；在RegionServer节点执行jps，应看到HRegionServer进程。

3. 验证集群状态

• Web UI：在浏览器访问http://hadoop100:16010（Master节点IP:16010），查看集群状态、RegionServer列表、表信息等；
• 命令行客户端：执行hbase shell进入交互式命令行，输入list查看所有表（初始为空），输入status查看集群状态（显示“Cluster is ONLINE”则说明成功）。

五、常见问题排查

1. 权限问题

• 确保HBase安装目录及数据目录（如/usr/local/hbase、/home/hbase/hbasetsst/tmp）的权限正确，用户hbase对目录有读写权限：sudo chown -R hbase:hbase /usr/local/hbase。

2. 端口冲突

• 若启动时报端口被占用（如16010、2181），可通过netstat -tulnp | grep 端口号查找占用进程，杀掉冲突进程或修改HBase配置文件中的端口。

3. 版本冲突

• 确保HBase与Hadoop版本兼容（如HBase 2.4.x兼容Hadoop 3.2+），避免因版本不匹配导致的启动失败。

4. Zookeeper未启动

• 若HBase无法连接Zookeeper，检查Zookeeper集群是否启动（zkServer.sh status），以及hbase.zookeeper.quorum配置是否正确（需与Zookeeper集群节点列表一致）。

六、后续优化建议

• 预分区：根据数据量对表进行预分区（如create 'user_behavior', {NAME => 'cf1', NUMREGIONS => 10}），避免RegionServer热点问题；
• 缓存优化：调整blockcache大小（hfile.block.cache.size，默认0.25），提升读取性能；
• 压缩算法：使用Snappy压缩（COMPRESSION => 'SNAPPY'），减少磁盘IO；
• 监控报警：引入Prometheus+Grafana监控集群状态（如RegionServer内存、QPS、延迟），设置阈值报警。