<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                合規國際互聯網加速 OSASE為企業客戶提供高速穩定SD-WAN國際加速解決方案。 廣告
                1. **JobHistoryServer 功能** Hadoop 默認自帶了一個歷史服務器,可以通過歷史服務器查看已經運行完成的應用的信息記錄,比如可以查看應用啟動了多少個Map,用了多少個Reduce、 作業提交時間、作業啟動時間、作業完成時間等信息。默認情況下,Hadoop 歷史服務器是沒有啟動的。需要我們自己來啟動 Hadoop 歷史服務器。 2. **JobHistoryServer 配置**, 步驟如下: (1)配置 mapred-site.xml ```sql [root@hadoop101 hadoop]$ vi mapred-site.xml <property> <name>mapreduce.jobhistory.address</name> <value>hadoop101:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop101:19888</value> </property> ``` (2)啟動歷史服務器 ```sql [root@hadoop101 hadoop]$ sbin/mr-jobhistory-daemon.sh start historyserver ``` (3)查看歷史服務器是否啟動 ```sql [root@hadoop101 hadoop]$ jps ``` 如果存在 JobHistoryServer 進程,證明啟動成功。 3. **配置日志的聚集** 日志聚集概念:應用運行完成以后,將日志信息上傳到 HDFS 系統上,方便查看。 (1)配置 yarn-site.xml ```sql [root@hadoop101 hadoop]$ vi yarn-site.xml <!-- 日志聚集功能使能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留時間設置 7 天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> ``` (2)關閉 nodemanager 、resourcemanager 和 historymanager ```sql [root@hadoop101 hadoop]$ sbin/yarn-daemon.sh stop resourcemanager [root@hadoop101 hadoop]$ sbin/yarn-daemon.sh stop nodemanager [root@hadoop101 hadoop]$ sbin/mr-jobhistory-daemon.sh stop historyserver ``` (3)啟動 nodemanager 、resourcemanager 和 historymanager ```sql [root@hadoop101 hadoop]$ sbin/yarn-daemon.sh start resourcemanager [root@hadoop101 hadoop]$ sbin/yarn-daemon.sh start nodemanager [root@hadoop101 hadoop]$ sbin/mr-jobhistory-daemon.sh start historyserver ``` (4)執行 wordcount 程序 ```sql [root@hadoop101 hadoop]$ hadoop jar \ $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar \ wordcount /wcinput /wcoutput6 ``` ![](https://img.kancloud.cn/ec/f7/ecf7e7609c6d099385795430a5bb8e7b_1067x216.png) 請注意上面的 jobid,在 YARN WebUI 上面可以看到該應用的一條信息,如下圖所示。 ![](https://img.kancloud.cn/55/33/55336ef17183155291bcf3d07561bfa2_1119x445.png) (4)查看日志(該部分對以后工作查看任務運行日志和調優有幫助)http://hadoop101:19888/jobhistory ![](https://img.kancloud.cn/50/6b/506bbee9fc5b8dbccb6770462370617e_1140x414.png) 點擊上圖的 jobid,跳轉到該應用詳情信息圖,從圖中可以看到該應用MapTask 總數及完成個數,ReduceTask 總數及完成個數。 ![](https://img.kancloud.cn/5a/d2/5ad2851a21381388356f74ac3ce93648_1162x478.png) 點擊上圖的 Map 或者 Reduce,可以查看 Map 端運行情況或者 Reduce 端運行情況。 ![](https://img.kancloud.cn/c3/92/c3923fdec4073cbd1af3a3ba259b9e64_1177x273.png) 選中上圖的 task,點擊,跳轉到對應 task 的信息。 ![](https://img.kancloud.cn/81/15/81153fa60a0bccf0212d88b4c3440d5f_1111x309.png)
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看