在Linux上配置Kafka消息持久化,需要修改Kafka的配置文件server.properties。以下是一些关键配置项及其说明:
log.dirs指定Kafka日志文件的存储目录。可以设置多个目录,Kafka会将日志文件分散存储在这些目录中,以提高性能和可靠性。
log.dirs=/path/to/kafka-logs1,/path/to/kafka-logs2 log.retention.hours设置日志文件的保留时间。Kafka会根据这个配置自动删除过期的日志文件。
log.retention.hours=168 # 一周 log.segment.bytes设置每个日志段的大小。当日志文件达到这个大小时,Kafka会创建一个新的日志段。
log.segment.bytes=1073741824 # 1GB log.retention.check.interval.ms设置检查日志保留时间的间隔时间。
log.retention.check.interval.ms=300000 # 5分钟 log.flush.interval.messages设置消息刷新到磁盘的频率。Kafka会定期将内存中的消息刷新到磁盘。
log.flush.interval.messages=10000 # 每10000条消息刷新一次 log.flush.interval.ms设置消息刷新到磁盘的时间间隔。Kafka会定期将内存中的消息刷新到磁盘。
log.flush.interval.ms=1000 # 每秒刷新一次 log.message.timestamp.type设置消息的时间戳类型。可以选择CreateTime(创建时间)或LogAppendTime(追加时间)。
log.message.timestamp.type=CreateTime log.cleanup.policy设置日志清理策略。常用的策略有delete(删除过期日志)和compact(压缩日志)。
log.cleanup.policy=delete log.cleanup.interval.ms设置日志清理的间隔时间。
log.cleanup.interval.ms=3600000 # 每小时清理一次 log.dirs的权限确保Kafka进程有权限写入指定的日志目录。
sudo chown -R kafka:kafka /path/to/kafka-logs1 sudo chown -R kafka:kafka /path/to/kafka-logs2 以下是一个示例的server.properties文件:
# The directory under which the log files are stored. # Refer to the note below about log.dirs. log.dirs=/path/to/kafka-logs1,/path/to/kafka-logs2 # The retention period of the log files. # The log files will be truncated after this period. log.retention.hours=168 # The size of the log segments. # When this size is reached, a new log segment will be created. log.segment.bytes=1073741824 # The interval at which log retention is checked. log.retention.check.interval.ms=300000 # The interval at which messages are flushed to disk. log.flush.interval.messages=10000 log.flush.interval.ms=1000 # The type of timestamp to use for messages. log.message.timestamp.type=CreateTime # The policy to use for log cleanup. log.cleanup.policy=delete # The interval at which log cleanup is performed. log.cleanup.interval.ms=3600000 通过以上配置,可以在Linux上实现Kafka消息的持久化存储。