一、场景一AvroMemoryLogger —— 跨节点通信与本地调试基准1.1 场景定位Avro 是 Flume 生态中用于跨节点通信的标准协议该组合适用于Flume Agent 间数据交互或本地配置验证。通过 Avro Source 接收网络数据流Memory Channel 实现高速内存缓冲Logger Sink 直接控制台打印是验证 Flume 网络连通性与基础配置的最优方案。1.2 核心架构Source: Avro监听端口接收 Avro 序列化数据Channel: Memory内存队列高性能、低延迟Sink: Logger控制台打印用于调试1.3 实战配置文件flume-avro-memory-logger.confproperties# # 1. 定义组件名称 # a1.sources r1 a1.channels c1 a1.sinks k1 # # 2. 配置 Avro Source # a1.sources.r1.type avro # 监听地址0.0.0.0 表示允许所有IP访问 a1.sources.r1.bind 0.0.0.0 # 监听端口可自定义 a1.sources.r1.port 41414 # # 3. 配置 Memory Channel # a1.channels.c1.type memory # 最大缓存事件数 a1.channels.c1.capacity 1000 # 事务处理最大事件数 a1.channels.c1.transactionCapacity 100 # # 4. 配置 Logger Sink # a1.sinks.k1.type logger # # 5. 绑定组件关系 # a1.sources.r1.channels c1 a1.sinks.k1.channel c11.4 启动与验证1. 启动 Flume Agentbash运行flume-ng agent \ -n a1 \ -c $FLUME_HOME/conf \ -f /path/to/flume-avro-memory-logger.conf \ -Dflume.root.loggerINFO,console2. 发送测试数据使用 Flume 自带avro-client工具发送数据bash运行flume-ng avro-client \ -H 目标主机IP \ -p 41414 \ -c Hello Flume! AvroMemoryLogger Test Message3. 验证结果若控制台输出如下内容说明配置成功plaintextEvent: { headers:{} body: 48 65 6C 6C 6F 20 46 6C 75 6D 65 21 41 76 72 6F 2B 4D 65 6D 6F 72 79 2B 4C 6F 67 67 65 72 20 54 65 73 74 20 4D 65 73 73 61 67 65 }1.5 关键注意事项端口占用启动前需确认端口未被占用可通过netstat -tulnp | grep 41414检查。Memory Channel 特性仅适用于调试场景Agent 重启后内存数据会丢失生产环境需替换为 File Channel 或 Kafka Channel。Logger Sink 日志级别必须添加-Dflume.root.loggerINFO,console参数否则日志不会输出到控制台。二、场景二ExecMemoryHDFS —— 实时日志文件采集2.1 场景定位该组合适用于实时跟踪单个追加文件如系统日志、应用日志。通过 Exec Source 执行tail -F命令监听文件新增内容Memory Channel 缓冲HDFS Sink 实现离线存储是实时日志采集落地 HDFS 的标准方案。2.2 核心架构Source: Exec执行命令实时监听文件追加Channel: Memory高速缓冲Sink: HDFS持久化存储2.3 实战配置文件flume-exec-memory-hdfs.confproperties# # 1. 定义组件名称 # a1.sources r1 a1.channels c1 a1.sinks k1 # # 2. 配置 Exec Source # a1.sources.r1.type exec # 核心命令-F 支持文件删除后重建仍能继续跟踪 a1.sources.r1.command tail -F /var/log/myapp/app.log # 命令失败后自动重启 a1.sources.r1.restart true # 重启间隔毫秒 a1.sources.r1.restartThrottle 5000 # # 3. 配置 Memory Channel # a1.channels.c1.type memory a1.channels.c1.capacity 2000 a1.channels.c1.transactionCapacity 100 # # 4. 配置 HDFS Sink # a1.sinks.k1.type hdfs # HDFS 存储路径支持时间分区 a1.sinks.k1.hdfs.path hdfs://hadoop-cluster:9000/flume/logs/%Y%m%d/%H # 文件前缀 a1.sinks.k1.hdfs.filePrefix app-log- # 文件后缀 a1.sinks.k1.hdfs.fileSuffix .log # 文件类型DataStream 为文本格式 a1.sinks.k1.hdfs.fileType DataStream # 滚动策略每30秒生成一个新文件 a1.sinks.k1.hdfs.rollInterval 30 # 单个文件最大大小128MB a1.sinks.k1.hdfs.rollSize 134217728 # 基于事件数滚动0 禁用 a1.sinks.k1.hdfs.rollCount 0 # 批量写入 HDFS 的事件数 a1.sinks.k1.hdfs.batchSize 100 # 使用本地时间戳 a1.sinks.k1.hdfs.useLocalTimeStamp true # 时间分区规则 a1.sinks.k1.hdfs.round true a1.sinks.k1.hdfs.roundValue 1 a1.sinks.k1.hdfs.roundUnit hour # # 5. 绑定组件关系 # a1.sources.r1.channels c1 a1.sinks.k1.channel c12.4 启动与验证启动 Agent 后向/var/log/myapp/app.log追加内容bash运行echo [$(date %Y-%m-%d %H:%M:%S)] Test Exec Source Message /var/log/myapp/app.log查看 HDFS 对应路径bash运行hdfs dfs -ls /flume/logs/2.5 核心参数解析表格参数含义建议值rollInterval文件滚动时间秒30~3600根据业务日志量调整rollSize文件滚动大小128MB~512MBbatchSize批量写入数100~1000平衡性能与实时性useLocalTimeStamp使用本地时间true避免时区问题三、场景三SpoolFileHDFS —— 批量新增文件采集3.1 场景定位该组合适用于批量处理已完成的文件如定时生成的业务数据文件、日志归档文件。Spool Directory Source 监控指定目录自动读取新文件并标记完成File Channel 实现断点续传HDFS Sink 存储文件内容数据可靠性极高。3.2 核心架构Source: Spool Directory监控目录批量读取新文件Channel: File持久化缓冲支持断点续传Sink: HDFS持久化存储3.3 实战配置文件flume-spool-file-hdfs.confproperties# # 1. 定义组件名称 # a1.sources r1 a1.channels c1 a1.sinks k1 # # 2. 配置 Spool Directory Source # a1.sources.r1.type spooldir # 监控目录 a1.sources.r1.spoolDir /data/flume/spool # 读取完成后的文件后缀 a1.sources.r1.fileSuffix .COMPLETED # 忽略隐藏文件 a1.sources.r1.ignorePattern ^\\..* # 字符编码 a1.sources.r1.inputCharset UTF-8 # 元数据存储目录记录文件读取状态 a1.sources.r1.trackerDir /data/flume/spool/.flumespool # # 3. 配置 File Channel持久化缓冲 # a1.channels.c1.type file # 数据存储目录 a1.channels.c1.dataDirs /data/flume/file-channel # 检查点目录 a1.channels.c1.checkpointDir /data/flume/file-channel/checkpoint # 最大文件大小 a1.channels.c1.maxFileSize 1GB # 容量 a1.channels.c1.capacity 10000 # # 4. 配置 HDFS Sink # a1.sinks.k1.type hdfs a1.sinks.k1.hdfs.path hdfs://hadoop-cluster:9000/flume/files/%Y%m%d a1.sinks.k1.hdfs.filePrefix data- a1.sinks.k1.hdfs.fileSuffix .txt a1.sinks.k1.hdfs.fileType DataStream a1.sinks.k1.hdfs.rollInterval 60 a1.sinks.k1.hdfs.rollSize 67108864 a1.sinks.k1.hdfs.batchSize 500 a1.sinks.k1.hdfs.useLocalTimeStamp true # # 5. 绑定组件关系 # a1.sources.r1.channels c1 a1.sinks.k1.channel c13.3 核心特性与注意事项文件命名规则放入监控目录的文件不可修改否则会读取失败建议使用时间戳或唯一标识命名文件如data-20240520-001.log。断点续传File Channel 会记录文件读取状态Agent 重启后可继续读取未完成文件。文件清理可通过deletePolicy immediate配置读取后删除文件或定期清理.COMPLETED后缀文件。四、场景四TailDirMemoryHDFS —— 多文件实时追踪4.1 场景定位该组合适用于多文件并行实时采集如多实例日志、多业务目录日志。TailDir Source 支持监听多个文件记录读取偏移量到本地文件实现断点续传同时兼顾实时性与多文件管理能力是生产环境多日志采集的主流方案。4.2 核心架构Source: Taildir多文件监听记录偏移量Channel: Memory高速缓冲Sink: HDFS持久化存储4.3 实战配置文件flume-taildir-memory-hdfs.confproperties# # 1. 定义组件名称 # a1.sources r1 a1.channels c1 a1.sinks k1 # # 2. 配置 Taildir Source # a1.sources.r1.type TAILDIR # 定义文件组 a1.sources.r1.filegroups f1 f2 # 文件组1监听/var/log/app1/ 下所有 .log 文件 a1.sources.r1.filegroups.f1 /var/log/app1/.*\\.log$ # 文件组2监听/var/log/app2/ 下所有 .log 文件 a1.sources.r1.filegroups.f2 /var/log/app2/.*\\.log$ # 偏移量存储文件核心记录每个文件的读取位置 a1.sources.r1.positionFile /data/flume/taildir/position.json # 最大回溯时间首次启动时读取历史日志 a1.sources.r1.maxBackoff 3000 # 轮询间隔 a1.sources.r1.pollDelay 100 # # 3. 配置 Memory Channel # a1.channels.c1.type memory a1.channels.c1.capacity 5000 a1.channels.c1.transactionCapacity 200 # # 4. 配置 HDFS Sink # a1.sinks.k1.type hdfs # 按文件组分区存储 a1.sinks.k1.hdfs.path hdfs://hadoop-cluster:9000/flume/taildir/%{fileGroup}/%Y%m%d a1.sinks.k1.hdfs.filePrefix log- a1.sinks.k1.hdfs.fileSuffix .log a1.sinks.k1.hdfs.fileType DataStream a1.sinks.k1.hdfs.rollInterval 30 a1.sinks.k1.hdfs.rollSize 67108864 a1.sinks.k1.hdfs.batchSize 300 a1.sinks.k1.hdfs.useLocalTimeStamp true # # 5. 绑定组件关系 # a1.sources.r1.channels c1 a1.sinks.k1.channel c14.4 核心特性与注意事项偏移量管理position.json文件记录每个监听文件的读取偏移量需保证 Flume 进程对该文件有读写权限。多文件并行支持同时监听多个目录、多个文件适合多业务线日志采集场景。动态配置支持热加载配置修改文件组规则后无需重启 Agent。五、四大场景对比与选型建议表格场景组合核心优势适用场景局限性AvroMemoryLogger配置简单、验证快速Flume 跨节点通信、本地配置调试仅适用于调试无持久化ExecMemoryHDFS实时性高、配置灵活单文件实时日志采集不支持多文件进程重启丢失偏移量SpoolFileHDFS数据可靠、断点续传批量处理已完成文件新文件放入后不可修改实时性一般TailDirMemoryHDFS多文件并行、支持续传多实例日志、多目录实时采集配置稍复杂需维护偏移量文件六、总结本文深入解析了 Flume 四大经典数据流场景的实战配置与核心原理覆盖了从跨节点通信到不同文件采集场景的全流程。在实际生产环境中需根据业务需求选择合适的组合调试场景优先选择AvroMemoryLogger单文件实时日志采集推荐ExecMemoryHDFS批量文件采集优先使用SpoolFileHDFS多文件并行实时采集首选TailDirMemoryHDFS。