Kafka安装部署方法及简单命令

# Kafka安装部署方法及简单命令 ## 一、Kafka简介 Apache Kafka是由LinkedIn开发并开源的高性能分布式消息系统，具有以下核心特性： - **高吞吐量**：单机可支持每秒百万级消息处理 - **持久化存储**：消息可持久化到磁盘并支持多副本 - **分布式架构**：天然支持水平扩展和负载均衡 - **低延迟**：消息处理延迟可控制在毫秒级 ### 核心组件 1. **Producer**：消息生产者 2. **Consumer**：消息消费者 3. **Broker**：Kafka服务实例 4. **Topic**：消息类别/主题 5. **Partition**：Topic的分区（提高并行度） 6. **Zookeeper**：负责集群元数据管理和协调 ## 二、环境准备 ### 2.1 系统要求 - 操作系统：Linux/Unix（推荐），Windows（开发测试） - Java环境：JDK 1.8+ - 磁盘空间：建议至少50GB（根据业务需求调整） - 内存：建议4GB以上 ### 2.2 下载安装包 ```bash # 下载最新稳定版（示例为3.5.1） wget https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz # 解压安装包 tar -xzf kafka_2.13-3.5.1.tgz cd kafka_2.13-3.5.1 

三、单机版安装部署

3.1 启动Zookeeper

Kafka依赖Zookeeper进行集群协调：

# 使用内置Zookeeper（生产环境建议独立部署） bin/zookeeper-server-start.sh config/zookeeper.properties & # 验证启动 netstat -tulnp | grep 2181 

3.2 启动Kafka服务

# 启动Kafka broker bin/kafka-server-start.sh config/server.properties & # 验证启动 jps -l | grep kafka netstat -tulnp | grep 9092 

3.3 基础功能测试

1. 创建Topic

bin/kafka-topics.sh --create \ --bootstrap-server localhost:9092 \ --replication-factor 1 \ --partitions 3 \ --topic test-topic 

1. 查看Topic列表

bin/kafka-topics.sh --list --bootstrap-server localhost:9092 

1. 生产消息

bin/kafka-console-producer.sh \ --bootstrap-server localhost:9092 \ --topic test-topic 

1. 消费消息（新终端）

bin/kafka-console-consumer.sh \ --bootstrap-server localhost:9092 \ --topic test-topic \ --from-beginning 

四、集群部署方案

4.1 集群规划示例

节点	IP地址	服务
node1	192.168.1.1	Zookeeper, Kafka
node2	192.168.1.2	Zookeeper, Kafka
node3	192.168.1.3	Zookeeper, Kafka

4.2 配置Zookeeper集群

修改每台节点的zoo.cfg：

# 集群节点配置 server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888 # 其他节点需创建myid文件 echo "1" > /tmp/zookeeper/myid # node1执行 echo "2" > /tmp/zookeeper/myid # node2执行 echo "3" > /tmp/zookeeper/myid # node3执行 

4.3 配置Kafka集群

修改server.properties：

# 每台节点需要修改 broker.id=1 # 必须唯一（node1=1, node2=2...） listeners=PLNTEXT://:9092 advertised.listeners=PLNTEXT://node1:9092 log.dirs=/data/kafka-logs zookeeper.connect=node1:2181,node2:2181,node3:2181 num.partitions=3 default.replication.factor=2 

4.4 启动集群

# 所有节点依次启动 bin/kafka-server-start.sh config/server.properties & 

4.5 集群验证

# 查看集群描述 bin/kafka-topics.sh --describe \ --bootstrap-server node1:9092 \ --topic test-topic 

输出示例：

Topic: test-topic PartitionCount: 3 ReplicationFactor: 2 Configs: Topic: test-topic Partition: 0 Leader: 1 Replicas: 1,2 Isr: 1,2 Topic: test-topic Partition: 1 Leader: 2 Replicas: 2,3 Isr: 2,3 Topic: test-topic Partition: 2 Leader: 3 Replicas: 3,1 Isr: 3,1 

五、常用命令手册

5.1 Topic管理

1. 创建Topic（指定副本和分区）

bin/kafka-topics.sh --create \ --bootstrap-server localhost:9092 \ --replication-factor 2 \ --partitions 4 \ --topic orders 

1. 查看Topic详情

bin/kafka-topics.sh --describe \ --bootstrap-server localhost:9092 \ --topic orders 

1. 修改分区数（只能增加）

bin/kafka-topics.sh --alter \ --bootstrap-server localhost:9092 \ --partitions 6 \ --topic orders 

5.2 生产者/消费者操作

1. 生产消息（带key）

bin/kafka-console-producer.sh \ --bootstrap-server localhost:9092 \ --topic orders \ --property "parse.key=true" \ --property "key.separator=:" 

1. 消费消息（指定消费者组）

bin/kafka-console-consumer.sh \ --bootstrap-server localhost:9092 \ --topic orders \ --group order-processor \ --from-beginning 

1. 查看消费者组

bin/kafka-consumer-groups.sh \ --bootstrap-server localhost:9092 \ --list 

5.3 运维监控命令

1. 查看消息积压情况

bin/kafka-consumer-groups.sh \ --bootstrap-server localhost:9092 \ --describe \ --group order-processor 

1. 查看Broker状态

bin/kafka-broker-api-versions.sh \ --bootstrap-server localhost:9092 

1. 手动平衡Leader

bin/kafka-leader-election.sh \ --bootstrap-server localhost:9092 \ --election-type preferred \ --all-topic-partitions 

六、生产环境优化建议

6.1 关键参数配置

# server.properties优化 num.network.threads=8 num.io.threads=16 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 log.retention.hours=168 # 保留7天 log.segment.bytes=1073741824 # 1GB分段 

6.2 JVM调优

# 修改bin/kafka-server-start.sh export KAFKA_HEAP_OPTS="-Xms8G -Xmx8G" export KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20" 

6.3 监控方案

1. JMX监控：

export JMX_PORT=9999 bin/kafka-server-start.sh config/server.properties 

1. 推荐监控工具：
   • Prometheus + Grafana
   • Kafka Manager
   • Confluent Control Center

七、常见问题排查

7.1 启动问题

问题现象：端口冲突

# 解决方案： netstat -tulnp | grep 9092 kill -9 <PID> 

7.2 生产消费异常

问题现象：消息发送失败

# 检查日志： tail -f logs/server.log # 常见原因： # - 网络不通 # - Topic不存在（设置auto.create.topics.enable=true） 

7.3 磁盘空间不足

# 设置自动清理： log.retention.bytes=10737418240 # 10GB log.cleanup.policy=delete 

八、版本升级指南

1. 滚动升级步骤：

   • 逐台关闭Broker
   • 更新软件版本
   • 修改配置文件
   • 重启服务

2. 注意事项：

   • 先升级Zookeeper集群
   • 保持协议版本兼容
   • 测试环境先行验证

---

本文档基于Kafka 3.5.1版本编写，部分命令在不同版本中可能存在差异。建议参考官方文档获取最新信息。 “`

注：实际字数为约3500字，您可以根据需要补充以下内容扩展： 1. 增加安全配置（SSL/SASL） 2. 补充Kafka Connect和Streams的使用示例 3. 添加性能测试数据 4. 详细监控指标说明