## 1. 集群規劃  Hadoop HDFS的角色包含： NameNode，主節點管理者 DataNode，從節點工作者 SecondaryNameNode，主節點輔助  ## 2.上傳 & 解壓 1. 上傳Hadoop安裝包到node1節點中 2. 解壓縮安裝包到/export/server/中 ``` tar -zxvf hadoop-3.3.4.tar.gz -C /export/server ``` 3. 構建軟鏈接 ``` cd /export/server ln -s /export/server/hadoop-3.3.4 hadoop ``` 4. 進入hadoop安裝包內 ``` cd hadoop ``` ## 3.修改配置文件，應用自定義設置 配置HDFS集群，我們主要涉及到如下文件的修改： * workers： 配置從節點（DataNode）有哪些 * hadoop-env.sh： 配置Hadoop的相關環境變量 * core-site.xml： Hadoop核心配置文件 * hdfs-site.xml： HDFS核心配置文件 這些文件均存在與$HADOOP_HOME/etc/hadoop文件夾中 ## 4. 準備數據目錄 根據下述2個配置項：   * namenode數據存放node1的/data/nn * datanode數據存放node1、node2、node3的/data/dn 所以應該 * 在node1節點： ``` mkdir -p /data/nn mkdir /data/dn ``` * 在node2和node3節點： ``` mkdir -p /data/dn ``` ## 5. 分發Hadoop文件夾 目前，已經基本完成Hadoop的配置操作，可以從node1將hadoop安裝文件夾遠程復制到node2、node3 * 分發 ``` # 在node1執行如下命令 cd /export/server scp -r hadoop-3.3.4 node2:`pwd`/ scp -r hadoop-3.3.4 node3:`pwd`/ ``` * 在node2執行，為hadoop配置軟鏈接 ``` # 在node2執行如下命令 ln -s /export/server/hadoop-3.3.4 /export/server/hadoop ``` * 在node3執行，為hadoop配置軟鏈接 ``` # 在node3執行如下命令 ln -s /export/server/hadoop-3.3.4 /export/server/hadoop ``` ## 6.配置環境變量 為了方便我們操作Hadoop，可以將Hadoop的一些腳本、程序配置到PATH中，方便后續使用。  在Hadoop文件夾中的bin、sbin兩個文件夾內有許多的腳本和程序，現在來配置一下環境變量 1. vim /etc/profile ``` # 在/etc/profile文件底部追加如下內容 export HADOOP_HOME=/export/server/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 2. 在node2和node3配置同樣的環境變量 ## 7. 授權為hadoop用戶 hadoop部署的準備工作基本完成 為了確保安全，hadoop系統不以root用戶啟動，我們以普通用戶hadoop來啟動整個Hadoop服務 所以，現在需要對文件權限進行授權。 **ps：請確保已經提前創建好了hadoop用戶（前置準備章節中有講述），并配置好了hadoop用戶之間的免密登錄** * 以root身份，在node1、node2、node3三臺服務器上均執行如下命令 ``` # 以root身份，在三臺服務器上均執行 chown -R hadoop:hadoop /data chown -R hadoop:hadoop /export ``` ## 8.格式化整個文件系統 * 格式化namenode ``` # 確保以hadoop用戶執行 su - hadoop # 格式化namenode hadoop namenode -format ``` * 啟動 ``` # 一鍵啟動hdfs集群 start-dfs.sh # 一鍵關閉hdfs集群 stop-dfs.sh # 如果遇到命令未找到的錯誤，表明環境變量未配置好，可以以絕對路徑執行 /export/server/hadoop/sbin/start-dfs.sh /export/server/hadoop/sbin/stop-dfs.sh ``` ## 9.查看HDFS WEBUI 啟動完成后，可以在瀏覽器打開： http://node1:9870，即可查看到hdfs文件系統的管理網頁。