温馨提示×

Ubuntu Kafka配置步骤全解析

小樊
55
2025-05-10 16:45:23
栏目: 智能运维

在Ubuntu上配置Kafka涉及多个步骤,包括安装Java环境、下载和解压Kafka、配置Zookeeper和Kafka、启动服务以及验证配置。以下是详细的步骤:

1. 安装Java环境

首先,确保你的系统上已经安装了Java。你可以使用以下命令来安装OpenJDK 8:

sudo apt update sudo apt install openjdk-8-jdk 

安装完成后,验证Java是否安装成功:

java -version 

2. 安装Zookeeper

Kafka依赖于Zookeeper进行集群管理和元数据存储。以下是安装和配置Zookeeper的步骤:

  • 下载Zookeeper安装包

    wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/zookeeper-3.8.0.tar.gz 
  • 解压安装包

    tar -xzvf zookeeper-3.8.0.tar.gz 
  • 移动Zookeeper文件夹

    sudo mv zookeeper-3.8.0 /usr/local/zookeeper 
  • 配置Zookeeper

    进入Zookeeper的安装目录/usr/local/zookeeper/conf,复制zoo_sample.cfgzoo.cfg

    sudo cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg 

    编辑zoo.cfg文件,设置以下参数:

    tickTime=2000 dataDir=/var/lib/zookeeper clientPort=2181 
  • 启动Zookeeper

    sudo /usr/local/zookeeper/bin/zkServer.sh start 
  • 验证Zookeeper是否启动成功

    sudo netstat -nap | grep 2181 

3. 安装Kafka

  • 下载Kafka安装包

    wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz 
  • 解压Kafka安装包

    tar -xzvf kafka_2.12-3.5.2.tgz 
  • 移动Kafka文件夹

    sudo mv kafka_2.12-3.5.2 /usr/local/kafka 
  • 创建Kafka日志目录

    sudo mkdir /tmp/kafka-logs 

4. 配置Kafka

进入Kafka的安装目录/usr/local/kafka,编辑server.properties文件,设置以下参数:

broker.id=0 listeners=PLAINTEXT://:9092 log.dirs=/tmp/kafka-logs zookeeper.connect=localhost:2181 

5. 配置环境变量

编辑/etc/profile文件,添加Kafka和Zookeeper的环境变量:

export KAFKA_HOME=/usr/local/kafka export PATH=$PATH:$KAFKA_HOME/bin export ZOOKEEPER_HOME=/usr/local/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin 

使环境变量生效:

source /etc/profile 

6. 启动Kafka和Zookeeper

  • 启动Zookeeper

    sudo /usr/local/zookeeper/bin/zkServer.sh start 
  • 启动Kafka

    sudo /usr/local/kafka/bin/kafka-server-start.sh config/server.properties 

7. 验证配置

  • 创建一个测试Topic

    sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 
  • 列出所有Topic以确认新Topic已创建

    sudo /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 
  • 启动生产者发送消息

    sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
  • 启动消费者接收消息

    sudo /usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning 

8. 防火墙配置

如果使用防火墙,确保开放Kafka和Zookeeper的端口(默认9092和2181):

sudo ufw allow 2181 sudo ufw allow 9092 

9. 日志管理

定期检查Kafka日志文件,确保没有异常情况发生。日志文件通常位于/tmp/kafka-logs目录下。

10. 安全性配置

在生产环境中,建议配置SSL/TLS加密和认证机制,以增强Kafka的安全性。

0