# Hadoop安裝與集群部署 #
## 1、基本環境配置
* Linux服務器：CentOS 7
* 配置：阿里云YUM源
* 安裝基礎工具：gcc, network-tool
```
yum install gcc
(centos7不支持netstat, ifconfig，先安裝sudo yum install net-tools)
```
* 網絡配置
* 準備
* JDK安裝包：
```
HOME/downloads/jdk-8u65-linux-x64.tar.gz
```
* Hadoop安裝包：
```
HOME/downloads/hadoop-2.7.3.tar.gz
```
* 用戶：
```
useradd centos
passwd 123456
```
* 軟件存放目錄：
```
sudo mkdir /soft
sudo chown centos:centos /soft
tar -xzvf HOME/downloads/jdk-8u65-linux-x64.tar.gz /soft/
```
* 安裝JDK
* 檢查是否已經安裝：
```
rpm -qa | grep Java
```
* 驗證：
```
cd /soft/jdk-1.8.0_65/bin
./java -version
```
* 創建軟連接：
```
ln -s /soft/jdk-1.8.0_65 /soft/jdk
```
* 環境變量：
```
編輯/etc/profile
export JAVA_HOME=/soft/jdk
exprot PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
```
* 進入任意目錄
```
java -version
```
* 安裝Hadoop
* 解壓：
```
tar -zxvf hadoop-2.7.3.tar.gz
mv HOME/downloads/hadoop-2.7.3 /soft/
```
* 創建軟連接
```
ln -s /soft/hadoop-2.7.3 /soft/hadoop
```
* 驗證
```
cd /soft/hadoop/bin
./hadoop version
```
* 環境變量
```
export HADOOP_HOME=/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
```
* SSH安裝
```
Yum安裝
```
## 2、Hadoop部署
架構解析
(1).創建三個配置目錄,內容等同于hadoop目錄
```
${hadoop_home}/etc/local
${hadoop_home}/etc/pesudo
${hadoop_home}/etc/full
```
(2).創建軟鏈接
```
ln -s ${hadoop_home}/etc/pesudo hadoop
```
(3).對hdfs進行格式化
```
hadoop namenode -format
```
(4).修改hadoop配置文件，手動指定JAVA_HOME環境變量
```
[${hadoop_home}/etc/hadoop/hadoop-env.sh]
...
export JAVA_HOME=/soft/jdk
...
```
(5).啟動Hadoop所有進程
```
start-all.sh
```
(6).啟動完成后，出現以下進程
```
jps
```
(7).查看hdfs文件系統
```
hdfs dfs -ls /
```
(8).通過webui查看hadoop的文件系統
```
netstat -ano | grep 50070 #端口查詢
http://localhost:50070/
```
(9).停止hadoop所有進程
```
stop-all.sh
```
(10).centos防火墻操作
```
[centos7]
$>sudo systemctl enable firewalld.service //"開機啟動"啟用
$>sudo systemctl disable firewalld.service //"開機自啟"禁用
$>sudo systemctl start firewalld.service //啟動防火墻
$>sudo systemctl stop firewalld.service //停止防火墻
$>sudo systemctl status firewalld.service //查看防火墻狀態
```
```
[開機自啟]
$>sudo chkconfig firewalld on //"開啟自啟"啟用
$>sudo chkconfig firewalld off //"開啟自啟"禁用
```
## 配置完全分布式
* 修改Hadoop的配置模式full
* 修改hostname文件
* 克隆4臺主機
* 修改網絡IP地址
* 主機名
* 配置SSH無密登錄
