[TOC] # 簡介 在一個完整的大數據處理系統中，除了hdfs+mapreduce+hive組成分析系統的核心之外，還需要數據采集、結果數據導出、任務調度等不可或缺的輔助系統，而這些輔助工具在hadoop生態體系中都有便捷的開源框架，如圖所示：  # 概述 * Flume是Cloudera提供的一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸的系統。 * Flume可以采集文件，socket數據包、文件夾等各種形式源數據，又可以將采集到的數據輸出到HDFS、hbase、hive、kafka等眾多外部存儲系統中 * 一般的采集需求，通過對flume的簡單配置即可實現 * Flume針對特殊場景也具備良好的自定義擴展能力，因此，flume可以適用于大部分的日常數據采集場景 當前Flume有兩個版本： * Flume 0.9X版本的統稱Flume-og * Flume1.X版本的統稱Flume-ng 由于Flume-ng經過重大重構，與Flume-og有很大不同，使用時請注意區分 # 運行機制 1. Flume分布式系統中最核心的角色是agent，flume采集系統就是由一個個agent所連接起來形成 2. 每一個agent相當于一個數據傳遞員(Source 到 Channel 到 Sink之間傳遞數據的形式是Event事件；Event事件是一個數據流單元)，內部有三個組件： * Source：采集源，用于跟數據源對接，以獲取數據 * Sink：下沉地，采集數據的傳送目的，用于往下一級agent傳遞數據或者往最終存儲系統傳遞數據 * Channel：angent內部的數據傳輸通道，用于從source將數據傳遞到sink  # Flume采集系統結構圖 ## 簡單結構 單個agent采集數據  ## 復雜結構 多級agent之間串聯 1. 第一種：2個agent串聯  2. 多個agent的采集的數據進行匯總  3. 采集的數據可以下層到不同的系統中