# 監控應用程序
除了Spark的監控功能,Spark Streaming增加了一些專有的功能。應用StreamingContext的時候,[Spark web UI](https://spark.apache.org/docs/latest/monitoring.html#web-interfaces)顯示添加的`Streaming`菜單,用以顯示運行的receivers(receivers是否是存活狀態、接收的記錄數、receiver錯誤等)和完成的批的統計信息(批處理時間、隊列等待等待)。這可以用來監控流應用程序的處理過程。
在WEB UI中的`Processing Time`和`Scheduling Delay`兩個度量指標是非常重要的。第一個指標表示批數據處理的時間,第二個指標表示前面的批處理完畢之后,當前批在隊列中的等待時間。如果批處理時間比批間隔時間持續更長或者隊列等待時間持續增加,這就預示系統無法以批數據產生的速度處理這些數據,整個處理過程滯后了。在這種情況下,考慮減少批處理時間。
Spark Streaming程序的處理過程也可以通過[StreamingListener](https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.scheduler.StreamingListener)接口來監控,這個接口允許你獲得receiver狀態和處理時間。注意,這個接口是開發者API,它有可能在未來提供更多的信息。
- Introduction
- 快速上手
- Spark Shell
- 獨立應用程序
- 開始翻滾吧!
- 編程指南
- 引入 Spark
- 初始化 Spark
- Spark RDDs
- 并行集合
- 外部數據集
- RDD 操作
- RDD持久化
- 共享變量
- 從這里開始
- Spark Streaming
- 一個快速的例子
- 基本概念
- 關聯
- 初始化StreamingContext
- 離散流
- 輸入DStreams
- DStream中的轉換
- DStream的輸出操作
- 緩存或持久化
- Checkpointing
- 部署應用程序
- 監控應用程序
- 性能調優
- 減少批數據的執行時間
- 設置正確的批容量
- 內存調優
- 容錯語義
- Spark SQL
- 開始
- 數據源
- RDDs
- parquet文件
- JSON數據集
- Hive表
- 性能調優
- 其它SQL接口
- 編寫語言集成(Language-Integrated)的相關查詢
- Spark SQL數據類型
- GraphX編程指南
- 開始
- 屬性圖
- 圖操作符
- Pregel API
- 圖構造者
- 頂點和邊RDDs
- 圖算法
- 例子
- 提交應用程序
- 獨立運行Spark
- 在yarn上運行Spark
- Spark配置