# Flume集群的搭建方法 ## 一、Flume简介 Apache Flume是一个分布式、可靠且高可用的海量日志采集、聚合和传输系统，最初由Cloudera开发，后贡献给Apache基金会。Flume特别适合处理流式事件数据（如日志文件），具有以下核心特性： - **可靠性**：通过事务机制保证数据不丢失 - **可扩展性**：采用分布式架构，支持水平扩展 - **灵活性**：支持多种数据源和目的地 - **容错性**：具备故障转移和恢复能力 典型应用场景包括： - 日志收集到HDFS/HBase - 实时数据流处理 - 多数据源聚合 ## 二、环境准备 ### 2.1 硬件要求 | 组件 | 最低配置 | 推荐配置 | |------------|-----------------------|------------------------| | Master节点 | 4核CPU, 8GB内存 | 8核CPU, 16GB内存 | | Agent节点 | 2核CPU, 4GB内存 | 4核CPU, 8GB内存 | | 存储 | 100GB HDD | 500GB SSD | | 网络 | 千兆以太网 | 万兆以太网 | ### 2.2 软件要求 - Java JDK 1.8+ - Hadoop 2.7+（如需写入HDFS） - ZooKeeper 3.4.6+（集群模式必需） - 至少3台Linux服务器（建议CentOS 7+） ### 2.3 网络配置 1. 确保所有节点间SSH免密登录 2. 开放所需端口： - Flume Agent: 41414（默认） - ZooKeeper: 2181 - 其他自定义端口 ## 三、集群架构设计 ### 3.1 典型三层架构 [数据源] –> [Agent层] –> [Collector层] –> [存储层(HDFS/HBase)]
### 3.2 组件角色 1. **Agent节点**： - 部署Flume Agent - 负责数据采集和初步过滤 - 通常与数据源同机部署 2. **Collector节点**： - 聚合多个Agent数据 - 执行数据路由和转换 - 高可用部署（至少2节点） 3. **Master节点**： - 运行监控服务 - 配置管理 - 可选与Collector合并部署 ## 四、详细搭建步骤 ### 4.1 基础环境配置 ```bash # 所有节点执行 sudo yum install -y java-1.8.0-openjdk echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0" >> ~/.bashrc source ~/.bashrc 下载解压：
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/ 配置zoo.cfg：
tickTime=2000 initLimit=10 syncLimit=5 dataDir=/var/lib/zookeeper clientPort=2181 server.1=master:2888:3888 server.2=agent1:2888:3888 server.3=agent2:2888:3888 启动服务：
bin/zkServer.sh start 下载安装：
wget https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/ 配置环境变量：
echo 'export FLUME_HOME=/opt/apache-flume-1.9.0-bin' >> /etc/profile echo 'export PATH=$PATH:$FLUME_HOME/bin' >> /etc/profile source /etc/profile 创建agent.conf：
# 定义组件 agent.sources = r1 agent.channels = c1 agent.sinks = k1 # 配置Source agent.sources.r1.type = exec agent.sources.r1.command = tail -F /var/log/application.log agent.sources.r1.interceptors = i1 agent.sources.r1.interceptors.i1.type = timestamp # 配置Channel agent.channels.c1.type = memory agent.channels.c1.capacity = 10000 agent.channels.c1.transactionCapacity = 1000 # 配置Sink agent.sinks.k1.type = avro agent.sinks.k1.hostname = collector1 agent.sinks.k1.port = 41414 # 绑定组件 agent.sources.r1.channels = c1 agent.sinks.k1.channel = c1 创建collector.conf：
# 定义组件 collector.sources = r1 collector.channels = c1 collector.sinks = k1 # 配置Source collector.sources.r1.type = avro collector.sources.r1.bind = 0.0.0.0 collector.sources.r1.port = 41414 # 配置Channel collector.channels.c1.type = file collector.channels.c1.checkpointDir = /data/flume/checkpoint collector.channels.c1.dataDirs = /data/flume/data # 配置Sink collector.sinks.k1.type = hdfs collector.sinks.k1.hdfs.path = hdfs://namenode:8020/flume/events/%Y-%m-%d/ collector.sinks.k1.hdfs.filePrefix = events- collector.sinks.k1.hdfs.round = true collector.sinks.k1.hdfs.roundValue = 10 collector.sinks.k1.hdfs.roundUnit = minute # 绑定组件 collector.sources.r1.channels = c1 collector.sinks.k1.channel = c1 # Agent节点 flume-ng agent -n agent -c conf -f /path/to/agent.conf -Dflume.root.logger=INFO,console # Collector节点 flume-ng agent -n collector -c conf -f /path/to/collector.conf -Dflume.root.logger=INFO,console 修改Agent的sink配置：
agent.sinks.k1.type = avro agent.sinks.k1.hostname = collector1 agent.sinks.k1.port = 41414 # 添加备份Collector agent.sinks = k1 k2 agent.sinks.k2.type = avro agent.sinks.k2.hostname = collector2 agent.sinks.k2.port = 41414 # 配置故障转移 agent.sinkgroups = g1 agent.sinkgroups.g1.sinks = k1 k2 agent.sinkgroups.g1.processor.type = failover agent.sinkgroups.g1.processor.priority.k1 = 10 agent.sinkgroups.g1.processor.priority.k2 = 5 agent.sinkgroups.g1.processor.type = load_balance agent.sinkgroups.g1.processor.selector = round_robin | 参数 | 默认值 | 建议值 | 说明 |
|---|---|---|---|
| channel.capacity | 100 | 10000-50000 | 内存channel容量 |
| transactionCapacity | 100 | 1000-5000 | 单次事务处理事件数 |
| batchSize | 100 | 500-2000 | 批量写入大小 |
| hdfs.batchSize | 100 | 1000 | HDFS写入批次大小 |
| hdfs.rollInterval | 30 | 300 | 文件滚动时间(秒) |
启用JMX监控：
export JAVA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=5445 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false" 集成Ganglia： 在flume-env.sh中添加：
export FLUME_MONITORING_TYPE=ganglia export FLUME_MONITORING_HOSTS=monitor1:8649,monitor2:8649 端口冲突：
netstat -tunlp | grep 41414 内存不足： 调整flume-env.sh中的JVM参数：
export JAVA_OPTS="-Xms2g -Xmx4g" Channel写满：
HDFS写入慢：
collector.sinks.k1.hdfs.threadsPoolSize=10 collector.sinks.k1.hdfs.callTimeout=60000 通过以上步骤，您可以搭建一个高可用、高性能的Flume日志收集集群。实际部署时，请根据业务需求和数据规模调整配置参数。 “`
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
