<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                合規國際互聯網加速 OSASE為企業客戶提供高速穩定SD-WAN國際加速解決方案。 廣告
                ## 1. 集群規劃 ![](https://img.kancloud.cn/82/30/8230c6a61689d34d951e5f0d96084323_750x325.png) Hadoop HDFS的角色包含: NameNode,主節點管理者 DataNode,從節點工作者 SecondaryNameNode,主節點輔助 ![](https://img.kancloud.cn/b8/d2/b8d28720e3d721714d3624500e6db30c_1175x309.png) ## 2.上傳 & 解壓 1. 上傳Hadoop安裝包到node1節點中 2. 解壓縮安裝包到/export/server/中 ``` tar -zxvf hadoop-3.3.4.tar.gz -C /export/server ``` 3. 構建軟鏈接 ``` cd /export/server ln -s /export/server/hadoop-3.3.4 hadoop ``` 4. 進入hadoop安裝包內 ``` cd hadoop ``` ## 3.修改配置文件,應用自定義設置 配置HDFS集群,我們主要涉及到如下文件的修改: * workers: 配置從節點(DataNode)有哪些 * hadoop-env.sh: 配置Hadoop的相關環境變量 * core-site.xml: Hadoop核心配置文件 * hdfs-site.xml: HDFS核心配置文件 這些文件均存在與$HADOOP_HOME/etc/hadoop文件夾中 ## 4. 準備數據目錄 根據下述2個配置項: ![](https://img.kancloud.cn/fc/23/fc2390155df4d9c6d320f6424a578897_679x148.png) ![](https://img.kancloud.cn/a6/ed/a6ed0528717af2e755c3a1447cfb4350_674x150.png) * namenode數據存放node1的/data/nn * datanode數據存放node1、node2、node3的/data/dn 所以應該 * 在node1節點: ``` mkdir -p /data/nn mkdir /data/dn ``` * 在node2和node3節點: ``` mkdir -p /data/dn ``` ## 5. 分發Hadoop文件夾 目前,已經基本完成Hadoop的配置操作,可以從node1將hadoop安裝文件夾遠程復制到node2、node3 * 分發 ``` # 在node1執行如下命令 cd /export/server scp -r hadoop-3.3.4 node2:`pwd`/ scp -r hadoop-3.3.4 node3:`pwd`/ ``` * 在node2執行,為hadoop配置軟鏈接 ``` # 在node2執行如下命令 ln -s /export/server/hadoop-3.3.4 /export/server/hadoop ``` * 在node3執行,為hadoop配置軟鏈接 ``` # 在node3執行如下命令 ln -s /export/server/hadoop-3.3.4 /export/server/hadoop ``` ## 6.配置環境變量 為了方便我們操作Hadoop,可以將Hadoop的一些腳本、程序配置到PATH中,方便后續使用。 ![](https://img.kancloud.cn/f4/e0/f4e0a85f5548bc328fd2de36450b4d14_1380x318.png) 在Hadoop文件夾中的bin、sbin兩個文件夾內有許多的腳本和程序,現在來配置一下環境變量 1. vim /etc/profile ``` # 在/etc/profile文件底部追加如下內容 export HADOOP_HOME=/export/server/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 2. 在node2和node3配置同樣的環境變量 ## 7. 授權為hadoop用戶 hadoop部署的準備工作基本完成 為了確保安全,hadoop系統不以root用戶啟動,我們以普通用戶hadoop來啟動整個Hadoop服務 所以,現在需要對文件權限進行授權。 **ps:請確保已經提前創建好了hadoop用戶(前置準備章節中有講述),并配置好了hadoop用戶之間的免密登錄** * 以root身份,在node1、node2、node3三臺服務器上均執行如下命令 ``` # 以root身份,在三臺服務器上均執行 chown -R hadoop:hadoop /data chown -R hadoop:hadoop /export ``` ## 8.格式化整個文件系統 * 格式化namenode ``` # 確保以hadoop用戶執行 su - hadoop # 格式化namenode hadoop namenode -format ``` * 啟動 ``` # 一鍵啟動hdfs集群 start-dfs.sh # 一鍵關閉hdfs集群 stop-dfs.sh # 如果遇到命令未找到的錯誤,表明環境變量未配置好,可以以絕對路徑執行 /export/server/hadoop/sbin/start-dfs.sh /export/server/hadoop/sbin/stop-dfs.sh ``` ## 9.查看HDFS WEBUI 啟動完成后,可以在瀏覽器打開: http://node1:9870,即可查看到hdfs文件系統的管理網頁。 ![](https://img.kancloud.cn/fc/78/fc783baaf6bcbfaaae9134cf5f766afc_1693x586.png)
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看