:-:  Spark運行架構 * 在驅動程序中，通過SparkContext主導應用的執行； * SparkContext可以連接不同類型的Cluster Manager（Standalone、YARN、Mesos），連接后，獲得集群節點上的Executor； * 一個Worker節點默認一個Executor，可通過SPARK_WORKER_INSTANCES調整； * 每個應用獲取自己的Executor，相當于JVM； * 每個Task處理一個RDD分區； :-: Spark架構核心組件 | 術語 | 說明 | | --- | --- | | Application | 建立在Spark上的用戶程序，包括Driver代碼和運行在集群各節點Executor中的代碼 | | Driver program | 驅動程序。Application中的main函數并創建SparkContext | | Cluster Manager | 在集群（Standalone、Mesos、YARN）上獲取資源的外部服務 | | Worker Node | 集群中任何可以運行Application代碼的節點 | | Executor | 某個Application運行在worker節點上的一個進程 | | Task | 被送到某個Executor上的工作單元 | | Job | 包含多個Task組成的并行計算，往往由Spark Action觸發生成，一個Application中往往會產生多個Job | | Stage | 每個Job會被拆分成多組Task，作為一個TaskSet，其名稱為Stage |