日志系統一般包括打日志，采集，中轉，收集，存儲，分析，呈現，搜索還有分發等。一些特殊的如染色，全鏈條跟蹤或者監控都可能需要依賴于日志系統實現。日志系統的建設不僅僅是工具的建設，還有規范和組件的建設，最好一些基本的日志在框架和組件層面加就行了，比如全鏈接跟蹤之類的。 對于常規日志系統ELK能滿足大部分的需求，ELK 包括如下組件： * ElasticSearch 是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。 * Logstash 是一個完全開源的工具，它可以對你的日志進行收集、分析，并將其存儲供以后使用。 * Kibana 是一個開源和免費的工具，它可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助匯總、分析和搜索重要數據日志。 Filebeat 已經完全替代了 Logstash-Forwarder 成為新一代的日志采集器，同時鑒于它輕量、安全等特點，越來越多人開始使用它。 因為免費的 ELK 沒有任何安全機制，所以這里使用了 Nginx 作反向代理，避免用戶直接訪問 Kibana 服務器。加上配置 Nginx 實現簡單的用戶認證，一定程度上提高安全性。另外，Nginx 本身具有負載均衡的作用，能夠提高系統訪問性能。ELK 架構如圖4所示：  \[圖4\] ELK 流程圖 對于有實時計算的需求，可以使用 Flume+Kafka+Storm+MySQL方案，一 般架構如圖5所示：  \[圖5\] 實時分析系統架構圖 其中： * Flume 是一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸的日志收集系統，支持在日志系統中定制各類數據發送方，用于收集數據;同時，Flume 提供對數據進行簡單處理，并寫到各種數據接受方(可定制)的能力。 * Kafka 是由 Apache 軟件基金會開發的一個開源流處理平臺，由 Scala 和 Java 編寫。其本質上是一個“按照分布式事務日志架構的大規模發布/訂閱消息隊列”，它以可水平擴展和高吞吐率而被廣泛使用。 Kafka 追求的是高吞吐量、高負載，Flume 追求的是數據的多樣性，二者結合起來簡直完美。