:-:  Spark運行架構 <br/> **1. SparkContext作用** SparkContext 是連接 Driver、Worker以及 Cluster Manager（Master）的橋梁。<mark>作為 Spark 應用程序的核心、編程入口</mark>。 <br/> **2. SparkContext主要工作** SparkContext 主要完成了如下工作。 :-:  SparkContext主要工作 （1）RDD graph：生成 RDD 依賴關系圖 DAG。SparkContext 會根據用戶提交的計算邏輯（Application）中的 RDD 的轉換和動作來生成 RDD 之間的依賴關系，同時這個計算鏈也就生成了邏輯上的 DAG。 <br/> （2）DAGScheduler：為高級的、基于 Stage 的調度器， 負責創建 Job，將 DAG 中的 RDD 劃分到不同的 Stage，并將 Stage 作為 Tasksets 提交給底層調度器TaskScheduler 執行。 <br/> （3）TaskScheduler：為 Spark 的任務調度器，Spark 通過他提交任務并且請求集群調度任務。因其調度的 Task 由 DAGScheduler 創建，所以 DAGScheduler 是TaskScheduler 的前置調度。 <br/> （4）SchedulerBackend：是一個 trait（特質），作用是分配當前可用的資源。具體即向當前等待分配計算資源的 Task 分配計算資源（即 Executor）。 <br/> （5）ListenerBus：SparkContext 中的事件總線，可以接收各種使用方的事件，并且異步傳遞 Spark 事件監聽與 SparkListeners 監聽器的注冊。 <br/> （6）BlockManager：屬于 SparkEnv 組件中的成員，一個嵌入在 spark 中的key-value 型分布式存儲系統（類似 HDFS）。 SparkEnv 是 SparkContext 中非常重要的類，它維護著 Spark 的執行環境，所有的線程都可以通過 SparkContext 訪問到同一個 SparkEnv 對象。SparkEnv 還包括 ShuffleManger、SecurityManager、CacheManger 等。 <br/> **3. Spark編程時的SparkContext入口程序** ```scala import org.apache.spark.{SparkConf, SparkContext} val conf:SparkConf = new SparkConf().setMaster("local[2]") .setAppName("appName") val sc = SparkContext.getOrCreate(conf) ```