kafka在ubuntu怎样稳定运行

在Ubuntu上稳定运行Apache Kafka需要经过一系列的步骤，包括安装Java环境、下载和解压Kafka、配置Kafka以及启动Kafka服务等。以下是详细的步骤指南：

安装Java环境

Kafka需要Java环境来运行，推荐使用OpenJDK 11。

sudo apt update sudo apt install openjdk-11-jdk -y java -version 

下载和解压Kafka

从Apache Kafka官网下载最新稳定版本的Kafka，并解压到指定目录。

wget https://downloads.apache.org/kafka/3.6.1/kafka_2.12-3.6.1.tgz tar -zxvf kafka_2.12-3.6.1.tgz -C /usr/local/ 

配置Kafka

1. 配置Zookeeper：

   • 创建Zookeeper的数据目录：

     mkdir -p /usr/local/kafka/data/zookeeper 

   • 编辑Zookeeper配置文件：

     nano /usr/local/kafka/config/zookeeper.properties 

   • 更新 dataDir 属性指向新数据目录：

     dataDir=/usr/local/kafka/data/zookeeper 

   • 启动Zookeeper：

     /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties 

2. 配置Kafka Broker：

   • 创建Kafka的数据目录：

     mkdir -p /usr/local/kafka/data/kafka 

   • 编辑Kafka配置文件：

     nano /usr/local/kafka/config/server.properties 

   • 更新以下属性：

     log.dirs=/usr/local/kafka/data/kafka zookeeper.connect=localhost:2181 

启动Zookeeper和Kafka

在两个终端会话中分别启动Zookeeper和Kafka。

启动Zookeeper：

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties 

启动Kafka：

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties 

测试安装

1. 创建一个测试Topic：

   /usr/local/kafka/bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 

2. 生产消息并消费消息以验证Kafka的功能：

   • 生产者：

     /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 

   • 消费者：

     /usr/local/kafka/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092 

设置Kafka为Systemd服务（可选）

为了确保Kafka和Zookeeper在启动时自动启动，可以将它们设置为systemd服务。

1. 创建Zookeeper的systemd服务文件：

   sudo nano /etc/systemd/system/zookeeper.service 

   添加以下内容：

   [Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org/doc/current/ [Service] Type=simple Environment="PATH=/usr/local/kafka/bin:/usr/local/sbin:/usr/sbin:/usr/bin:/sbin:/bin" User=root Group=root ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh Restart=on-failure [Install] WantedBy=multi-user.target 

   启动并启用Zookeeper服务：

   sudo systemctl daemon-reload sudo systemctl start zookeeper sudo systemctl enable zookeeper 

2. 创建Kafka的systemd服务文件：

   sudo nano /etc/systemd/system/kafka.service 

   添加以下内容：

   [Unit] Description=Apache Kafka server Documentation=http://kafka.apache.org/documentation.html [Service] Type=simple Environment="PATH=/usr/local/kafka/bin:/usr/local/sbin:/usr/sbin:/usr/bin:/sbin:/bin" User=root Group=root ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh Restart=on-failure [Install] WantedBy=multi-user.target 

   启动并启用Kafka服务：

   sudo systemctl daemon-reload sudo systemctl start kafka sudo systemctl enable kafka 

通过以上步骤，您可以在Ubuntu上成功安装并运行Apache Kafka。请确保遵循所有步骤，并根据需要调整配置。