<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                合規國際互聯網加速 OSASE為企業客戶提供高速穩定SD-WAN國際加速解決方案。 廣告
                *(難點內容)* <br/> :-: ![](https://img.kancloud.cn/a9/84/a9848a1f2ef5ffbe51c62338e08779e2_1108x772.png) 作業提交全過程詳解 1. **作業提交** (1)client 調用 job.waitForCompletion 方法,向整個集群提交 MapReduce作業。 (2)client 向 ResourceManager 申請一個作業 Id。 (3)ResourceManager 給 Client 返回該 job 資源的提交路徑(HDFS 路徑)和作業 Id,每一個作業都有一個唯一的 Id。 (4)Client 發送 jar 包、切片信息和配置文件到指定的資源提交路徑。 (5)Client 提交完資源后,向 ResourceManager 申請運行 MrAppMaster(針對該 job 的 ApplicationMaster)。 2. **作業初始化** (6)當 ResourceManager 收到 Client 的請求后,將該 job 添加到容量調度器(Resouce Scheduler)中。 (7)某一個空閑的 NodeManager 領取到該 job。 (8)該 NodeManager 創建 Container,并產生 MrAppMaster。 (9)下載 Client 提交的資源到本地,根據分片信息生成 MapTask 和ReduceTask。 3. **任務分配** (10)MrAppMaster 向 ResouceManager 申請運行多個 MapTask 任務資源。 (11) ResourceManager 將運行 MapTask 任 務 分 配 給 空 閑 的 多 個NodeManager,NodeManager 分別領取任務并創建容器(Container)。 4. **任務運行** (12)MrAppMaster 向兩個接收到任務的 NodeManager 發送程序啟動腳本,每個接收到任務的 NodeManager 啟動 MapTask,MapTask 對數據進行處理,并分區排序。 (13)MrAppMaster 等待所有 MapTask 運行完畢后,向 ResourceManager申請容器(Container),運行 ReduceTask。 (14)程序運行完畢后,MrAppMaster 會向 ResourceManager 申請注銷自己。 (15)進度和狀態更新 YARN 中的任務將其進度和狀態(包括 counter)返回給應用管理器, 客戶端每秒(通過 `mapreduce.client.progressmonitor.pollinterval` 設置)向應用管理器請求進 度更新, 展示給用戶。可以使用 YARN WebUI 查看任務執行狀態。 5. **作業完成** 除了向應用管理器請求作業進度外, 客戶端每 5 分鐘都會通過調用waitForCompletion() 來檢查作業是否完成 。 時間間隔可以通過 `mapreduce.client.completion.pollinterval` 來設置。作業完成之后, 應用管理器和container 會清理工作狀態。作業的信息會被作業歷史服務器存儲以備之后用戶 核查。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看