Linux Kafka集群怎样搭建

搭建Linux Kafka集群的步骤如下：

环境准备

1. 安装Java：

   • 对于Ubuntu/Debian系统：

     sudo apt update sudo apt install openjdk-8-jdk 

   • 对于CentOS/RedHat系统：

     sudo yum install java-1.8.0-openjdk-devel 

   • 验证安装：

     java -version 

2. 安装Zookeeper：

   • 下载Zookeeper安装包并解压。
   • 编辑Zookeeper配置文件zoo.cfg，配置Zookeeper节点信息。
   • 在每个Zookeeper节点上启动Zookeeper服务。

3. 安装Kafka：

   • 从Apache Kafka官网下载最新版本的Kafka。
   • 解压Kafka安装包到指定目录。

配置Kafka集群

1. 配置Zookeeper：

   • 编辑zoo.cfg文件，设置tickTime、initLimit、syncLimit、dataDir和clientPort等参数。
   • 在每个Zookeeper节点上启动Zookeeper服务。

2. 配置Kafka：

   • 编辑Kafka的server.properties文件，配置每个Kafka节点的信息。

     broker.id=1 # 每个节点的broker.id必须是唯一的 listeners=PLAINTEXT://your_server_ip:9092 log.dirs=/var/lib/kafka-logs zookeeper.connect=zk1:2181,zk2:2181,zk3:2181 

   • 在每个Kafka节点上启动Kafka服务。

验证集群状态

1. 使用以下命令检查Kafka集群状态：

   jps 

   你应该能看到Kafka相关的进程，如QuorumPeerMain和Kafka。

2. 创建Topic：

   ./bin/kafka-topics.sh --create --zookeeper zk1:2181,zk2:2181,zk3:2181 --replication-factor 3 --partitions 3 --topic test 

3. 发送和消费消息：

   • 发送消息：

     ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 

   • 消费消息：

     ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning 

请注意，以上步骤以Kafka 3.5.2版本为例，具体版本可能会有所不同。在安装前，请确保已经安装并配置好Zookeeper，因为Kafka需要Zookeeper来管理集群元数据。