三白草

首页 » 常识 » 常识 » Flume数据采集工具
TUhjnbcbe - 2021/3/10 19:18:00
北京治疗痤疮医院 http://baidianfeng.39.net/a_yqyy/210111/8578725.html
Flume日志采集框架

在一个完整的离线大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop生态体系中都有便捷的开源框架。

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统Flume支持在日志系统中定制各类数据发送方,用于收集数据;Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

重构后的版本统称为FlumeNG(nextgeneration);改动的另一原因是将Flume纳入apache旗下,clouderaFlume改名为ApacheFlume。

官方网站:

1
查看完整版本: Flume数据采集工具