簡介 · 大數據

[TOC] # 簡介在一個完整的大數據處理系統中，除了hdfs+mapreduce+hive組成分析系統的核心之外，還需要數據采集、結果數據導出、任務調度等不可或缺的輔助系統，而這些輔助工具在hadoop生態體系中都有便捷的開源框架，如圖所示： ![](https://box.kancloud.cn/2483ae561aec327d416a294c1e1e708b_1506x662.png) # 概述 * Flume是Cloudera提供的一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸的系統。 * Flume可以采集文件，socket數據包、文件夾等各種形式源數據，又可以將采集到的數據輸出到HDFS、hbase、hive、kafka等眾多外部存儲系統中 * 一般的采集需求，通過對flume的簡單配置即可實現 * Flume針對特殊場景也具備良好的自定義擴展能力，因此，flume可以適用于大部分的日常數據采集場景當前Flume有兩個版本： * Flume 0.9X版本的統稱Flume-og * Flume1.X版本的統稱Flume-ng 由于Flume-ng經過重大重構，與Flume-og有很大不同，使用時請注意區分 # 運行機制 1. Flume分布式系統中最核心的角色是agent，flume采集系統就是由一個個agent所連接起來形成 2. 每一個agent相當于一個數據傳遞員(Source 到 Channel 到 Sink之間傳遞數據的形式是Event事件；Event事件是一個數據流單元)，內部有三個組件： * Source：采集源，用于跟數據源對接，以獲取數據 * Sink：下沉地，采集數據的傳送目的，用于往下一級agent傳遞數據或者往最終存儲系統傳遞數據 * Channel：angent內部的數據傳輸通道，用于從source將數據傳遞到sink ![](https://box.kancloud.cn/6873b6deed7e4886022f9df69778ac7b_1504x576.png) # Flume采集系統結構圖 ## 簡單結構單個agent采集數據 ![](https://box.kancloud.cn/9ece414662709622d335407b39b9bd97_757x286.png) ## 復雜結構多級agent之間串聯 1. 第一種：2個agent串聯 ![](https://box.kancloud.cn/d1396217a72c779920a00a8e849e0a71_765x161.png) 2. 多個agent的采集的數據進行匯總 ![](https://box.kancloud.cn/76467462ebaf8246fca17191587b0f9e_664x449.png) 3. 采集的數據可以下層到不同的系統中 ![](https://box.kancloud.cn/1dd85cfd1ac95b2d39b503da8ffae76d_718x431.png)