Flume

概述

Flume是一个高可用、高可靠的，分布式的海量日志采集、聚合和传输系统。Flume基于流式架构，灵活简单

Flume的主要功能：实时读取服务器本地磁盘的数据，之后将数据写入HDFS或者传入Kafka

基础架构Agent

Agent是一个JVM进程，以事件的形式将数据从源头送至目的地

每个Agent都由Source、Channel和Sink组成

Source

负责接受服务器的数据到Agent到组件，Source可以处理各种类型、各种格式的日志数据（通过配置sources.type）

avro接受来自FlumeSink传入的数据时使用exec监听单个追加文件（通过执行Linux命令）spoolingdirectory监听目录下的新增文件不支持断点续传netcat监听端口数据taildir监听目录下的多个实时追加文件支持断点续传Sink

负责不断轮询Channel中的事件，如果获取成功，批量删除Channel中的事件，并将这些事件批量写入到存储或者索引系统，或者发送到另一个FlumeAgent（通过配置sinks.type）

hdfs将数据保存至HDFSlogger将数据在console中展示avro将数据发送至其他FlumeSourcefile将数据保存到本地磁盘HBase将数据传入HBaseChannel

Channel是位于Source和Sink之间的缓冲区，并且是线程安全的，可以同时处理多个Source的写入操作和多个Sink的读取操作（通过配置channels.type）

memory内存中的队列应用在不担心数据丢失的场景file将事件写入磁盘在一些紧急情况下不会丢失数据Event

Event是Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。每个Event由Header和Body组成

Header存放Event属性K-V结构Body存放Event数据字节数组部署解压Flume文件至指定文件夹删除flume/lib/下guava-11.x.x.jar以兼容Hadoop案例监控端口数据安装netcatsudoyuminstall-ync创建FlumeAgent配置文件flume-netcat-logger.conf

#Namethe

转载请注明：http://www.sonphie.com/jibzd/14609.html