Kafka在Debian上部署需要注意什么

在Debian上部署Kafka需注意以下关键事项：

1. 环境准备
   • 安装Java 11+（推荐OpenJDK 11）。
   • 若使用Zookeeper，需单独安装并配置（Kafka 2.8.0+支持Kraft模式，可无需外部Zookeeper）。
2. 配置参数
   • 修改server.properties：设置broker.id（唯一）、listeners（监听地址）、advertised.listeners（客户端访问地址）、log.dirs（数据存储路径，建议非临时目录）。
   • 分区与副本：设置num.partitions（建议与节点数一致）和default.replication.factor（≥3，确保高可用）。
3. 性能优化
   • 调整文件描述符限制：修改/etc/security/limits.conf和/etc/sysctl.conf，设置nofile为655350。
   • 启用批量处理和压缩：配置batch.size和compression.type（如snappy）。
4. 安全设置
   • 启用TLS加密：配置SSL证书，设置listeners为SSL://。
   • 配置ACL权限：限制Topic访问权限。
5. 运维管理
   • 监控与日志：使用kafka-topics.sh等工具监控集群，配置日志轮转策略。
   • 定期备份：备份Kafka数据目录（log.dirs）。
6. 版本兼容性
   • 选择与Debian兼容的Kafka版本，注意Kafka 3.x与2.x的命令和API差异，升级前需测试。

参考来源：