CentOS Kafka配置常见问题及避免方案
Kafka的核心配置文件server.properties路径需正确（通常位于/etc/kafka/），启动时需通过--config参数指定路径。常见错误包括：listeners（监听地址）配置错误（如未绑定0.0.0.0或具体IP）、advertised.listeners（客户端连接的Broker地址）与实际网络环境不符、log.dirs（日志存储目录）不可写。需逐一检查这些参数，确保路径存在且权限正确（如chmod -R 755 /var/lib/kafka）。
Kafka默认使用9092端口（生产者/消费者通信）、Zookeeper默认使用2181端口（集群协调）。若端口被其他应用占用，会导致Broker无法启动或客户端连接失败。可通过netstat -tuln | grep <端口号>或lsof -i :<端口号>检查端口占用情况，修改server.properties中的listeners参数（如改为9093）或停止占用端口的应用。
Kafka依赖Java 8或更高版本，需正确设置JAVA_HOME环境变量（如export JAVA_HOME=/usr/java/jdk1.8.0_391，并添加至~/.bashrc）。若Java版本过低或未设置，启动时会报Unsupported major.minor version错误。可通过java -version验证Java版本，通过echo $JAVA_HOME验证环境变量。
Kafka依赖Zookeeper进行集群管理，需确保Zookeeper服务已启动（systemctl status zookeeper）且zookeeper.connect参数配置正确（如localhost:2181或zk1:2181,zk2:2181,zk3:2181）。若连接失败，需检查Zookeeper日志（/var/log/zookeeper/zookeeper.log）定位具体原因（如网络分区、节点宕机）。
Kafka的日志文件（存储在log.dirs目录）会持续增长，若磁盘空间耗尽（如占用100%），Broker将无法写入新消息。需通过df -h检查磁盘空间，设置以下参数预防：log.retention.hours=72（日志保留72小时）、log.retention.bytes=1073741824（每个分区最大1GB），并通过kafka-delete-records.sh工具清理过期日志。
生产者未开启ACK确认（acks=0或1）或Broker副本同步失败（min.insync.replicas设置过小），可能导致消息丢失。需配置：acks=all（确保所有ISR副本确认后才返回成功）、retries=3（自动重试3次）、min.insync.replicas=2（至少2个副本确认才允许写入），同时确保default.replication.factor≥2（副本数≥2）。
消费者提交Offset失败（如崩溃前未提交）或自动提交间隔过长（auto.commit.interval.ms默认5秒），可能导致消息重复消费。需配置：enable.auto.commit=false（关闭自动提交）、手动调用consumer.commitSync()（处理完消息后同步提交），或缩短自动提交间隔（如auto.commit.interval.ms=1000，1秒提交一次）。
Broker宕机后，分区Leader切换期间，生产者可能因重试机制不足而发送超时。需配置：retries=5（增加重试次数）、retry.backoff.ms=1000（重试间隔1秒），同时确保unclean.leader.election.enable=false（禁止非ISR副本成为Leader，避免数据不一致）。
消费者心跳超时（session.timeout.ms默认10秒）或处理消息时间过长，会导致Group Coordinator认为消费者下线，触发重平衡（消费暂停）。需配置：session.timeout.ms=30000（延长心跳超时至30秒）、max.poll.interval.ms=300000（延长拉取消息间隔至5分钟）、优化消息处理逻辑（如使用多线程异步处理），避免单条消息处理耗时过长。
异地多机房部署时，副本同步延迟高（如超过1秒），会导致ISR列表不稳定（副本落后过多被踢出）。需配置：broker.rack=<机房标识>（如broker.rack=us-east-1a，标记Broker所在机房）、replica.socket.timeout.ms=120000（增加副本同步超时至120秒）、优先同机房同步（Kafka会自动优先同步同机房副本），减少跨机房网络延迟的影响。
