Debian Kafka配置中的消息保留策略
Debian系统上，Kafka通过日志保留策略控制消息在Broker中的存储周期，避免磁盘空间无限占用，同时满足业务对数据生命周期的需求。核心策略包括基于时间的清理、基于大小的清理和日志压缩，通过配置文件server.properties（通常位于/etc/kafka/或Kafka安装目录的config/下）调整参数实现。
作用：按消息的时间戳删除超过设定时长的旧消息，是最常用的保留策略。
关键配置参数：
log.retention.ms：消息保留的最长时间（毫秒），优先级高于小时/分钟级参数（如log.retention.hours）。默认值通常为604800000（7天），可根据业务需求调整（如金融场景可能需要保留30天）。log.retention.hours/log.retention.minutes：分别为小时、分钟级别的保留时间，若未设置log.retention.ms，则使用这两个参数中的一个（默认log.retention.hours=168，即7天）。log.retention.ms=2592000000（30×24×60×60×1000）。作用：按分区日志文件的总大小限制存储空间，超过阈值后删除最早的日志段（Segment），防止单个分区占用过多磁盘。
关键配置参数：
log.retention.bytes：每个分区可使用的最大磁盘空间（字节）。例如，设置为10737418240（10GB），则当分区日志总大小达到10GB时，Kafka会从最旧的日志段开始删除，直到总大小低于该阈值。10GB×3=30GB。作用：针对需要保留键的最新状态的场景（如实时数据库、状态同步），保留每个键的最新消息，删除旧版本，减少存储占用并提升查询效率。
关键配置参数：
log.cleanup.policy：日志清理策略，设置为compact以启用压缩（默认值为delete，即基于时间/大小的删除）。启用后，Kafka会后台运行压缩任务，保留每个键的最新值。log.cleaner.enable=true（开启日志清理功能，需与log.cleanup.policy=compact配合使用）；log.cleaner.min.cleanable.ratio（控制压缩频率，默认0.5，表示当日志段中可清理空间占比超过50%时触发压缩）。日志段是Kafka日志的基本单位（默认1GB），其大小和持续时间会影响保留策略的执行效率：
log.segment.bytes：单个日志段的最大大小（默认1GB）。当日志段达到该大小时，Kafka会关闭当前段并创建新段。log.segment.ms：单个日志段的持续时间（默认7天，即604800000毫秒）。当日志段存在时间超过该阈值时，即使未达到大小限制也会滚动新段。# 日志目录（需提前创建并授权Kafka用户写入权限） log.dirs=/var/lib/kafka/data # 基于时间的保留：保留7天（优先级高于大小策略） log.retention.hours=168 # 基于大小的保留：每个分区最大10GB log.retention.bytes=10737418240 # 日志段设置：每个段1GB，保留7天 log.segment.bytes=1073741824 log.segment.ms=604800000 # 日志压缩：启用compact策略（用于状态同步场景） log.cleanup.policy=compact log.cleaner.enable=true log.cleaner.min.cleanable.ratio=0.5 sudo systemctl restart kafka）使参数生效。log.retention.hours=168+log.retention.bytes=10737418240），避免单一策略失效导致磁盘空间耗尽。
