hbase故障排查centos技巧

以下是CentOS上排查HBase故障的核心技巧，结合搜索资源中的关键步骤整理：

一、基础检查

1. 查看日志

   • 日志路径：/var/log/hbase/
   • 命令：tail -f hbase-*-master-*.log 或 grep -i "ERROR" *.log，重点关注Exception、FATAL等关键字。

2. 检查进程

   • 使用jps确认HMaster、HRegionServer是否运行。
   • 若进程异常，尝试重启服务：/etc/init.d/hbase restart。

3. 验证配置文件

   • 核对hbase-site.xml关键参数：
     • hbase.cluster.distributed（分布式模式需设为true）。
     • hbase.rootdir（指向正确的HDFS路径）。
     • hbase.zookeeper.quorum（ZooKeeper节点地址）。
   • 检查hbase-env.sh中JAVA_HOME、HBASE_HOME是否正确。

二、网络与端口

1. 测试网络连通性

   • 使用ping、traceroute检查节点间网络。
   • 确保防火墙开放HBase端口（如16010（HMaster）、16020（RegionServer））。

2. 端口占用检查

   • 通过netstat -tulnp | grep <端口号>确认端口未被占用。

三、资源与依赖

1. 系统资源监控

   • 使用top、htop、df -h检查CPU、内存、磁盘空间。
   • 若磁盘空间不足，清理日志或扩展存储。

2. 依赖服务状态

   • 检查HDFS健康：hdfs dfsadmin -report，确保NameNode和DataNode正常。
   • 确认ZooKeeper集群状态：zkServer.sh status，修复脑裂或节点失联问题。

四、工具诊断

1. HBase自带工具

   • hbase hbck：修复元数据不一致、Region分配异常。
   • hbase shell：执行status 'detailed'查看集群状态，balance_switch 'on'开启负载均衡。

2. 第三方工具

   • 使用Grafana+Prometheus监控集群性能（如RegionServer负载、GC时间）。

五、常见故障处理

• RegionServer宕机：
  • 原因：内存溢出、GC停顿过长。
  • 解决：调整hbase.regionserver.heapsize，优化GC参数（如-XX:+UseG1GC）。
• 数据不一致：
  • 使用hbase hbck -fixMeta -fixAssignments修复。
• 启动失败：
  • 检查日志中“Permission denied”等权限问题，确保hbase用户对数据目录有读写权限。

六、进阶技巧

• 日志分析工具：使用ELK Stack（Elasticsearch+Logstash+Kibana）集中分析日志。
• 性能调优：根据监控数据调整hfile.block.size、memstore.flush.size等参数。

参考来源：