*（難點內容）* <br/> :-:  作業提交全過程詳解 1. **作業提交** （1）client 調用 job.waitForCompletion 方法，向整個集群提交 MapReduce作業。 （2）client 向 ResourceManager 申請一個作業 Id。 （3）ResourceManager 給 Client 返回該 job 資源的提交路徑（HDFS 路徑）和作業 Id，每一個作業都有一個唯一的 Id。 （4）Client 發送 jar 包、切片信息和配置文件到指定的資源提交路徑。 （5）Client 提交完資源后，向 ResourceManager 申請運行 MrAppMaster（針對該 job 的 ApplicationMaster）。 2. **作業初始化** （6）當 ResourceManager 收到 Client 的請求后，將該 job 添加到容量調度器（Resouce Scheduler）中。 （7）某一個空閑的 NodeManager 領取到該 job。 （8）該 NodeManager 創建 Container，并產生 MrAppMaster。 （9）下載 Client 提交的資源到本地，根據分片信息生成 MapTask 和ReduceTask。 3. **任務分配** （10）MrAppMaster 向 ResouceManager 申請運行多個 MapTask 任務資源。 （11） ResourceManager 將運行 MapTask 任 務 分 配 給 空 閑 的 多 個NodeManager，NodeManager 分別領取任務并創建容器（Container）。 4. **任務運行** （12）MrAppMaster 向兩個接收到任務的 NodeManager 發送程序啟動腳本，每個接收到任務的 NodeManager 啟動 MapTask，MapTask 對數據進行處理，并分區排序。 （13）MrAppMaster 等待所有 MapTask 運行完畢后，向 ResourceManager申請容器（Container），運行 ReduceTask。 （14）程序運行完畢后，MrAppMaster 會向 ResourceManager 申請注銷自己。 （15）進度和狀態更新 YARN 中的任務將其進度和狀態(包括 counter)返回給應用管理器, 客戶端每秒(通過 `mapreduce.client.progressmonitor.pollinterval` 設置)向應用管理器請求進 度更新, 展示給用戶。可以使用 YARN WebUI 查看任務執行狀態。 5. **作業完成** 除了向應用管理器請求作業進度外, 客戶端每 5 分鐘都會通過調用waitForCompletion() 來檢查作業是否完成 。 時間間隔可以通過 `mapreduce.client.completion.pollinterval` 來設置。作業完成之后, 應用管理器和container 會清理工作狀態。作業的信息會被作業歷史服務器存儲以備之后用戶 核查。