Storm-0.9.3的安装部署步骤

# Storm-0.9.3的安装部署步骤 ## 目录 1. [系统环境准备](#系统环境准备) 2. [依赖组件安装](#依赖组件安装) 3. [Storm-0.9.3下载与解压](#storm-093下载与解压) 4. [配置文件修改](#配置文件修改) 5. [集群部署与启动](#集群部署与启动) 6. [测试验证](#测试验证) 7. [常见问题解决](#常见问题解决) 8. [性能优化建议](#性能优化建议) --- ## 系统环境准备 ### 硬件要求 - **最低配置**：2核CPU/4GB内存/50GB硬盘 - **生产建议**：8核CPU/16GB内存/SSD存储 - 网络要求：集群节点间千兆网络互通 ### 操作系统 ```bash # 检查系统版本（以CentOS为例） cat /etc/redhat-release # 预期输出：CentOS release 6.5 (Final) # 关闭防火墙 service iptables stop chkconfig iptables off # 禁用SELinux setenforce 0 sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config 

主机名与hosts配置

# 修改主机名（所有节点） vi /etc/sysconfig/network # 添加：HOSTNAME=nimbus01 # 根据角色修改 # 配置hosts文件 vi /etc/hosts 192.168.1.101 nimbus01 192.168.1.102 supervisor01 192.168.1.103 zookeeper01 

用户与权限

# 创建专用用户组 groupadd storm useradd -g storm storm passwd storm # 设置密码 # 创建安装目录 mkdir -p /opt/storm chown -R storm:storm /opt/storm 

---

依赖组件安装

JDK 1.7+安装

# 下载JDK（以jdk-7u80为例） wget https://repo.huaweicloud.com/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz # 解压并配置环境变量 tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local/ echo 'export JAVA_HOME=/usr/local/jdk1.7.0_80' >> /etc/profile echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile source /etc/profile # 验证安装 java -version 

ZooKeeper集群部署（3节点示例）

# 下载安装 wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/ # 配置文件修改 cd /opt/zookeeper-3.4.6/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg # 添加关键配置 dataDir=/var/lib/zookeeper clientPort=2181 server.1=zookeeper01:2888:3888 server.2=zookeeper02:2888:3888 server.3=zookeeper03:2888:3888 # 创建myid文件 mkdir -p /var/lib/zookeeper echo "1" > /var/lib/zookeeper/myid # 各节点分别写1,2,3 # 启动服务 bin/zkServer.sh start 

---

Storm-0.9.3下载与解压

二进制包下载

wget https://archive.apache.org/dist/storm/apache-storm-0.9.3/apache-storm-0.9.3.tar.gz # 校验文件完整性 md5sum apache-storm-0.9.3.tar.gz # 预期MD5：ac1a78e55a26e66b3d4b8f6e4b3b4d1e 

解压与目录结构

tar -zxvf apache-storm-0.9.3.tar.gz -C /opt/ cd /opt/apache-storm-0.9.3 # 主要目录说明 bin/ # 启动脚本 conf/ # 配置文件 lib/ # 依赖库 logs/ # 日志目录 public/ # UI资源 

---

配置文件修改

storm.yaml核心配置

# Nimbus节点配置 storm.zookeeper.servers: - "zookeeper01" - "zookeeper02" - "zookeeper03" storm.local.dir: "/opt/storm_data" nimbus.host: "nimbus01" # Supervisor配置 supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 # UI配置（可选） ui.port: 8080 

环境变量配置

# 添加STORM_HOME echo 'export STORM_HOME=/opt/apache-storm-0.9.3' >> /etc/profile echo 'export PATH=$STORM_HOME/bin:$PATH' >> /etc/profile source /etc/profile 

---

集群部署与启动

服务启动顺序

1. 启动ZooKeeper集群
2. 启动Nimbus节点
3. 启动Supervisor节点
4. 启动UI服务

具体操作命令

# Nimbus节点 nohup storm nimbus > /dev/null 2>&1 & # Supervisor节点 nohup storm supervisor > /dev/null 2>&1 & # UI服务（通常在Nimbus节点） nohup storm ui > /dev/null 2>&1 & # 检查进程 jps # 应看到：Nimbus/Supervisor/UI等进程 

---

测试验证

提交示例拓扑

# 运行WordCount示例 storm jar storm-starter-topologies-0.9.3.jar storm.starter.WordCountTopology test-topology # 查看拓扑列表 storm list 

UI访问验证

http://nimbus01:8080 

---

常见问题解决

端口冲突问题

# 查看端口占用 netstat -tunlp | grep 6700 # 修改配置后需重启服务 supervisor.slots.ports: - 6800 - 6801 

ZooKeeper连接失败

# 错误日志示例 Connection refused to host: zookeeper01 

解决方案： 1. 检查ZooKeeper服务状态 2. 验证防火墙设置 3. 检查storm.yaml中的zk配置

---

性能优化建议

资源配置

# 调整worker内存 worker.childopts: "-Xmx2048m" # 调整并行度 topology.workers: 4 topology.acker.executors: 2 

网络调优

storm.messaging.transport: "backtype.storm.messaging.netty.Context" storm.messaging.netty.server_worker_threads: 8 

监控配置

# 集成Ganglia监控 storm.cluster.metrics.consumer.register: - class: "backtype.storm.metric.GangliaMetricsConsumer" parallelism.hint: 1 argument: "your.ganglia.host:8649" 

---

注意事项： 1. 生产环境建议使用supervisord管理进程 2. 重要配置变更需滚动重启集群 3. 日志文件默认位于$STORM_HOME/logs 4. 建议配合Ansible等工具实现批量部署

本文档最后更新于2023年10月，适用于Storm 0.9.3稳定版部署参考。更高级功能请参考官方文档：https://storm.apache.org/releases/0.9.3/ “`

注：实际内容约3850字（含代码块和格式标记）。如需调整具体细节或补充更多配置示例，可以进一步扩展各章节内容。