# Hadoop HA 安裝 [TOC] ## 配置環境變量 * 配置hadoop的環境變量，在 ~/.bash_profile下追加 >三臺機器均配置環境變量 ``` ~/.bash_profile ``` ~~~ HADOOP_HOME=/home/bigdata/soft/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR" export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin ~~~ ``` source ~/.bash_profile ``` ## 上傳解壓 * 上傳hadoop安裝包到soft目錄 * 解壓&修改文件名 ~~~ cd ~/soft tar -zxvf hadoop-2.9.2.tar.gz mv hadoop-2.9.2 hadoop ~~~ ## 修改配置 >hadoop的所有配置都在$HADOOP_HOME/etc/hadoop/下面 ### slaves配置 ``` cat $HADOOP_HOME/etc/hadoop/slaves ``` ### hadoop-env.sh ~~~ 將 export JAVA\_HOME=${JAVA\_HOME} 修改為： export JAVA\_HOME=/home/bigdata/soft/java ~~~ ### core-site.xml ``` <configuration> <!-- 指定hdfs的nameservice為ns1--> <property> <name>fs.defaultFS</name> <value>hdfs://ns1/</value> </property> <!-- 指定hadoop臨時目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/home/bigdata/data/hadoop/tmp</value> </property> <!-- 指定zookeeper地址 --> <property> <name>ha.zookeeper.quorum</name> <value>bd00:2181,bd01:2181,bd02:2181</value> </property> <!-- hadoop鏈接zookeeper的超時時長設置 --> <property> <name>ha.zookeeper.session-timeout.ms</name> <value>1000</value> <description>ms</description> </property> </configuration> ``` ### hdfs-site.xml ```Xml <configuration> <!-- 指定副本數 --> <property> <name>dfs.replication</name> <value>2</value> </property> <!-- 啟用webhdfs --> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/bigdata/data/hadoop/dfs/data</value> </property> <!-- 配置namenode和datanode的工作目錄-數據存儲目錄 --> <property> <name>dfs.namenode.name.dir</name> <value>/home/bigdata/data/hadoop/dfs/name</value> </property> <!--指定hdfs的nameservice為ns1，需要和core-site.xml中的保持一致 dfs.ha.namenodes.[nameservice id]為在nameservice中的每一個NameNode設置唯一標示符。 配置一個逗號分隔的NameNode ID列表。這將是被DataNode識別為所有的NameNode。 例如，如果使用"ns1"作為nameservice ID，并且使用"nn1"和"nn2"作為NameNodes標示符 --> <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <!-- ns1下面有兩個NameNode，分別是nn1，nn2 --> <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <!-- nn1的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>bd00:9000</value> </property> <!-- nn1的http通信地址 --> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>bd00:50070</value> </property> <!-- nn2的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>bd01:9000</value> </property> <!-- nn2的http通信地址 --> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>bd01:50070</value> </property> <!-- 指定NameNode的edits元數據的共享存儲位置。也就是JournalNode列表 該url的配置格式：qjournal://host1:port1;host2:port2;host3:port3/journalId journalId推薦使用nameservice，默認端口號是：8485 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://bd00:8485;bd01:8485;bd02:8485/ns1</value> </property> <!-- 指定JournalNode在本地磁盤存放數據的位置 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/bigdata/data/hadoop/journaldata</value> </property> <!-- 開啟NameNode失敗自動切換 --> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <!-- 配置失敗自動切換實現方式 --> <property> <name>dfs.client.failover.proxy.provider.n1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行 --> <property> <name>dfs.ha.fencing.methods</name> <value> sshfence shell(/bin/true) </value> </property> <!-- 使用sshfence隔離機制時需要ssh免登陸 --> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/bigdata/data/hadoop/.ssh/id_rsa</value> </property> <!-- 配置sshfence隔離機制超時時間 --> <property> <name>dfs.ha.fencing.ssh.connect-timeout</name> <value>30000</value> </property> <property> <name>ha.failover-controller.cli-check.rpc-timeout.ms</name> <value>60000</value> </property> </configuration> ``` ### mapred-site.xml ``` <configuration> <!-- 指定mr框架為yarn方式 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!-- 指定mapreduce jobhistory地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>bd00:10020</value> </property> <!-- 任務歷史服務器的web地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>bd00:19888</value> </property> </configuration> ``` ### yarn-site.xml ``` <configuration> <!-- 開啟RM高可用 --> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <!-- 指定RM的cluster id --> <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-cluster</value> </property> <!-- 指定RM的名字 --> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <!-- 分別指定RM的地址 --> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>bd01</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>bd02</value> </property> <!-- 指定zk集群地址 --> <property> <name>yarn.resourcemanager.zk-address</name> <value>bd00:2181,bd01:2181,bd02:2181</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>86400</value> </property> <!-- 啟用自動恢復 --> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <!-- 制定resourcemanager的狀態信息存儲在zookeeper集群上 --> <property> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property> </configuration> ``` ## 初始化 ### 啟動zookeeper ### 啟動journal(每個機器都執行) ``` cd /home/bigdata/data rm -rf hadoop hadoop-daemon.sh stop journalnode hadoop-daemon.sh start journalnode ``` ### 格式化namenode(這里在bd00上) ``` hdfs namenode -format ``` ### 復制元數據到另外一個namenode ``` cd /home/bigdata/data/hadoop/ [bigdata@bd00 hadoop]$ scp -r tmp/ bigdata@bd01:$PWD ``` ### 格式化ZK(在bd00上執行即可) ``` hdfs zkfc -formatZK ```