# Spark Streaming Spark streaming是Spark核心API的一個擴展，它對實時流式數據的處理具有可擴展性、高吞吐量、可容錯性等特點。我們可以從kafka、flume、Twitter、 ZeroMQ、Kinesis等源獲取數據，也可以通過由 高階函數map、reduce、join、window等組成的復雜算法計算出數據。最后，處理后的數據可以推送到文件系統、數據庫、實時儀表盤中。事實上，你可以將處理后的數據應用到Spark的[機器學習算法](https://spark.apache.org/docs/latest/mllib-guide.html)、 [圖處理算法](https://spark.apache.org/docs/latest/graphx-programming-guide.html)中去。  在內部，它的工作原理如下圖所示。Spark Streaming接收實時的輸入數據流，然后將這些數據切分為批數據供Spark引擎處理，Spark引擎將數據生成最終的結果數據。  Spark Streaming支持一個高層的抽象，叫做離散流(`discretized stream`)或者`DStream`，它代表連續的數據流。DStream既可以利用從Kafka, Flume和Kinesis等源獲取的輸入數據流創建，也可以 在其他DStream的基礎上通過高階函數獲得。在內部，DStream是由一系列RDDs組成。 本指南指導用戶開始利用DStream編寫Spark Streaming程序。用戶能夠利用scala、java或者Python來編寫Spark Streaming程序。 注意：Spark 1.2已經為Spark Streaming引入了Python API。它的所有DStream transformations和幾乎所有的輸出操作可以在scala和java接口中使用。然而，它只支持基本的源如文本文件或者套接字上 的文本數據。諸如flume、kafka等外部的源的API會在將來引入。 * [一個快速的例子](a-quick-example.md) * [基本概念](basic-concepts/README.md) * [關聯](basic-concepts/linking.md) * [初始化StreamingContext](basic-concepts/initializing-StreamingContext.md) * [離散流](basic-concepts/discretized-streams.md) * [輸入DStreams](basic-concepts/input-DStreams.md) * [DStream中的轉換](basic-concepts/transformations-on-DStreams.md) * [DStream的輸出操作](basic-concepts/output-operations-on-DStreams.md) * [緩存或持久化](basic-concepts/caching-persistence.md) * [Checkpointing](basic-concepts/checkpointing.md) * [部署應用程序](basic-concepts/deploying-applications.md) * [監控應用程序](basic-concepts/monitoring-applications.md) * [性能調優](performance-tuning/README.md) * [減少批數據的執行時間](performance-tuning/reducing-processing-time.md) * [設置正確的批容量](performance-tuning/setting-right-batch-size.md) * [內存調優](performance-tuning/memory-tuning.md) * [容錯語義](fault-tolerance-semantics/README.md)