如何在Linux上配置Kafka集群

以下是在Linux上配置Kafka集群的步骤：

1. 环境准备

   • 安装Java 8+（推荐OpenJDK 11）：

     # CentOS/RHEL  sudo yum install java-11-openjdk -y # Ubuntu/Debian  sudo apt update && sudo apt install openjdk-11-jdk -y 

     验证：java -version。
   • 搭建Zookeeper集群（需3节点）：
     • 下载并解压Zookeeper：

       wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz tar -zxvf zookeeper-3.6.1.tar.gz 

     • 配置zoo.cfg（关键参数：server.1=zookeeper1:2888:3888等，需为每个节点指定唯一ID和地址）。
     • 启动Zookeeper：

       bin/zookeeper-server-start.sh config/zoo.cfg ```。 

2. 配置Kafka集群

   • 下载并解压Kafka：

     wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz tar -xzf kafka_2.13-3.6.1.tgz 

   • 修改server.properties（每节点唯一配置）：

     broker.id=1 # 每个节点唯一ID（如节点2设为2）  listeners=PLAINTEXT://节点IP:9092 zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181 log.dirs=/data/kafka/logs # 确保目录存在且权限正确  ```。 

3. 启动集群

   • 在每个节点执行：

     bin/kafka-server-start.sh config/server.properties ```。 

4. 验证集群

   • 查看Kafka进程：jps（应看到Kafka进程）。
   • 创建Topic测试：

     bin/kafka-topics.sh --create --topic test --partitions 3 --replication-factor 3 --bootstrap-server 节点IP:9092 

   • 生产消费测试：

     # 生产者  bin/kafka-console-producer.sh --broker-list 节点IP:9092 --topic test # 消费者  bin/kafka-console-consumer.sh --bootstrap-server 节点IP:9092 --topic test --from-beginning ```。 

5. 集群管理与优化

   • 监控：使用kafka-manager或Prometheus+Grafana监控集群状态。
   • 安全：配置SASL认证和SSL加密（需修改server.properties并重启）。
   • 分区与副本：通过kafka-reassign-partitions.sh调整分区分布，提升负载均衡。

注意事项：

• 确保Zookeeper集群健康（可通过zkCli.sh查看节点状态）。
• 生产环境中建议使用独立磁盘存储日志，避免单点故障。
• 参考官方文档调整网络线程、缓冲区等参数以优化性能。

以上步骤参考自。