<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                合規國際互聯網加速 OSASE為企業客戶提供高速穩定SD-WAN國際加速解決方案。 廣告
                :-: ![](https://img.kancloud.cn/b3/f1/b3f195aac9b63c112c0d4194f5478e5c_596x286.png) Spark運行架構 <br/> **1. SparkContext作用** SparkContext 是連接 Driver、Worker以及 Cluster Manager(Master)的橋梁。<mark>作為 Spark 應用程序的核心、編程入口</mark>。 <br/> **2. SparkContext主要工作** SparkContext 主要完成了如下工作。 :-: ![](https://img.kancloud.cn/bd/4c/bd4cab18adf9670b468627d303d83739_982x468.png) SparkContext主要工作 (1)RDD graph:生成 RDD 依賴關系圖 DAG。SparkContext 會根據用戶提交的計算邏輯(Application)中的 RDD 的轉換和動作來生成 RDD 之間的依賴關系,同時這個計算鏈也就生成了邏輯上的 DAG。 <br/> (2)DAGScheduler:為高級的、基于 Stage 的調度器, 負責創建 Job,將 DAG 中的 RDD 劃分到不同的 Stage,并將 Stage 作為 Tasksets 提交給底層調度器TaskScheduler 執行。 <br/> (3)TaskScheduler:為 Spark 的任務調度器,Spark 通過他提交任務并且請求集群調度任務。因其調度的 Task 由 DAGScheduler 創建,所以 DAGScheduler 是TaskScheduler 的前置調度。 <br/> (4)SchedulerBackend:是一個 trait(特質),作用是分配當前可用的資源。具體即向當前等待分配計算資源的 Task 分配計算資源(即 Executor)。 <br/> (5)ListenerBus:SparkContext 中的事件總線,可以接收各種使用方的事件,并且異步傳遞 Spark 事件監聽與 SparkListeners 監聽器的注冊。 <br/> (6)BlockManager:屬于 SparkEnv 組件中的成員,一個嵌入在 spark 中的key-value 型分布式存儲系統(類似 HDFS)。 SparkEnv 是 SparkContext 中非常重要的類,它維護著 Spark 的執行環境,所有的線程都可以通過 SparkContext 訪問到同一個 SparkEnv 對象。SparkEnv 還包括 ShuffleManger、SecurityManager、CacheManger 等。 <br/> **3. Spark編程時的SparkContext入口程序** ```scala import org.apache.spark.{SparkConf, SparkContext} val conf:SparkConf = new SparkConf().setMaster("local[2]") .setAppName("appName") val sc = SparkContext.getOrCreate(conf) ```
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看