在CentOS上对Kafka进行参数调优是一个涉及多个方面的过程，主要包括配置优化、硬件选择和网络调优等。以下是一些关键的调优策略：
Kafka Broker配置调优
- num.partitions：根据业务需求设置合理的分区数，以充分利用多核CPU资源。
- num.io.threads：设置为总核数的50%，负责写磁盘的线程数。
- num.replica.fetchers：设置为总核数的50%的1/3，副本拉取线程数。
- num.network.threads：设置为总核数的50%的2/3，数据传输线程数。
- compression.type：选择合适的压缩类型，如lz4，以提高吞吐量并减少CPU开销。
- acks：根据业务需求选择同步（all）或异步（0）应答机制。
- buffer.memory：根据业务场景估算一个合理的值，建议64M以上。
生产者配置调优
- batch.size：设置为1M，以减少网络请求次数，提高吞吐量。
- linger.ms：设置为100ms以上，以平衡延迟和吞吐量。
- compression.type：使用lz4等压缩算法减少数据量。
- acks：根据业务需求选择同步或异步。
消费者配置调优
- fetch.min.bytes：设置为1M，以减少网络开销。
- fetch.max.wait.ms：设置为1000ms，以平衡延迟和吞吐量。
- max.poll.records：根据业务需求设置每次拉取的最大消息数。
操作系统优化
- 虚拟内存设置：避免系统swap到磁盘，推荐将
vm.swappiness 设置为非常低的值（如1）。 - 磁盘I/O优化：将Kafka的日志段（log segment）放在快速响应的存储设备上，如SSD，以减少I/O延迟。
- 文件系统选择：使用XFS文件系统通常比EXT4更适合Kafka，因其对大数据量处理的性能更好。
网络优化
- 提高网络带宽和降低延迟：确保Kafka集群的网络带宽充足且延迟较低，这直接影响Kafka的整体性能。
硬件优化
- 增加存储容量：确保有足够的磁盘空间来存储数据和日志。
- 增加CPU核数：提高处理能力。
- 增加内存：为Kafka进程提供足够的内存，减少磁盘I/O。
监控和调优
- 使用实用命令监控：实时监控消费延迟、副本健康检查、JMX监控关键指标等。
- 根据监控数据进行调优，定期检查和清理日志文件，确保磁盘空间充足。
在进行任何配置更改之前，建议先在测试环境中验证其效果，以确保不会对生产环境造成不良影响。
