## 1. 集群規劃

Hadoop HDFS的角色包含:
NameNode,主節點管理者
DataNode,從節點工作者
SecondaryNameNode,主節點輔助

## 2.上傳 & 解壓
1. 上傳Hadoop安裝包到node1節點中
2. 解壓縮安裝包到/export/server/中
```
tar -zxvf hadoop-3.3.4.tar.gz -C /export/server
```
3. 構建軟鏈接
```
cd /export/server
ln -s /export/server/hadoop-3.3.4 hadoop
```
4. 進入hadoop安裝包內
```
cd hadoop
```
## 3.修改配置文件,應用自定義設置
配置HDFS集群,我們主要涉及到如下文件的修改:
* workers: 配置從節點(DataNode)有哪些
* hadoop-env.sh: 配置Hadoop的相關環境變量
*
core-site.xml: Hadoop核心配置文件
*
hdfs-site.xml: HDFS核心配置文件
這些文件均存在與$HADOOP_HOME/etc/hadoop文件夾中
## 4. 準備數據目錄
根據下述2個配置項:


* namenode數據存放node1的/data/nn
* datanode數據存放node1、node2、node3的/data/dn
所以應該
* 在node1節點:
```
mkdir -p /data/nn
mkdir /data/dn
```
* 在node2和node3節點:
```
mkdir -p /data/dn
```
## 5. 分發Hadoop文件夾
目前,已經基本完成Hadoop的配置操作,可以從node1將hadoop安裝文件夾遠程復制到node2、node3
* 分發
```
# 在node1執行如下命令
cd /export/server
scp -r hadoop-3.3.4 node2:`pwd`/
scp -r hadoop-3.3.4 node3:`pwd`/
```
* 在node2執行,為hadoop配置軟鏈接
```
# 在node2執行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop
```
* 在node3執行,為hadoop配置軟鏈接
```
# 在node3執行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop
```
## 6.配置環境變量
為了方便我們操作Hadoop,可以將Hadoop的一些腳本、程序配置到PATH中,方便后續使用。

在Hadoop文件夾中的bin、sbin兩個文件夾內有許多的腳本和程序,現在來配置一下環境變量
1. vim /etc/profile
```
# 在/etc/profile文件底部追加如下內容
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
2. 在node2和node3配置同樣的環境變量
## 7. 授權為hadoop用戶
hadoop部署的準備工作基本完成
為了確保安全,hadoop系統不以root用戶啟動,我們以普通用戶hadoop來啟動整個Hadoop服務
所以,現在需要對文件權限進行授權。
**ps:請確保已經提前創建好了hadoop用戶(前置準備章節中有講述),并配置好了hadoop用戶之間的免密登錄**
* 以root身份,在node1、node2、node3三臺服務器上均執行如下命令
```
# 以root身份,在三臺服務器上均執行
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export
```
## 8.格式化整個文件系統
* 格式化namenode
```
# 確保以hadoop用戶執行
su - hadoop
# 格式化namenode
hadoop namenode -format
```
* 啟動
```
# 一鍵啟動hdfs集群
start-dfs.sh
# 一鍵關閉hdfs集群
stop-dfs.sh
# 如果遇到命令未找到的錯誤,表明環境變量未配置好,可以以絕對路徑執行
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh
```
## 9.查看HDFS WEBUI
啟動完成后,可以在瀏覽器打開:
http://node1:9870,即可查看到hdfs文件系統的管理網頁。

- 開發語言
- java
- Java基礎篇
- Java多線程篇
- 進程和線程的區別,進程間如何通信
- 什么是線程上下文切換
- 什么是死鎖
- 死鎖的必要條件
- Synchrpnized和lock的區別
- 什么是AQS鎖
- 為什么AQS使用的雙向鏈表
- 有哪些常見的AQS鎖
- sleep()和wait()的區別
- yield()和join()區別
- Java線程池
- SpringBoot
- spring boot 項目開發常用目錄結構
- Mybatis-Plus
- MyBatisPlus的CRUD操作
- Mybatis-Plus主鍵ID生成策略
- JVM
- JVM組成
- 字節碼文件的組成
- 類的生命周期
- JVM、JRE和JDK
- arthas
- 使用阿里arthas不停機解決線上問題
- Java IO
- php
- 安裝swoole
- composer部分
- windows安裝composer
- composer PSR-4映射
- composer 鏡像同一個版本替換
- composer官方鏡像庫
- swoole部分
- swoole安裝
- thrift部分
- linux下安裝thrift
- PHP使用Thrift
- lnmp部分
- 架構的工作原理
- tp5框架生命周期
- zookeeper部分
- zookeeper安裝
- sort
- TCP和UDP的區別
- 軟件
- xdebug
- vscode+phpstudy+xdebug無法斷點(踩坑記)
- Hyperf框架
- 注解
- 通過注解定義路由
- go
- 開發方案
- 抖音
- 抖音達人視頻發布與統計
- 安全問題
- 微信
- 微信公眾平臺怎樣實現用戶點擊鏈接向公眾號發消息
- CDN加速OSS計費說明
- 程序設計
- 正則表達式
- 面向對象
- 設計模式
- 創建型模式
- 工廠模式
- 單例模式
- 結構型模式
- 適配器模式
- 行為型模式
- 策略模式
- 觀察者模式
- 算法部分
- 位運算
- 排序算法
- 雙指針
- 貪心算法
- 動態規劃
- 二分查找
- 華為題庫
- 技術棧
- mq
- MQ 的優勢和劣勢
- rabbitmq部分
- windows安裝rabbitmq
- RabbitMQ 簡介
- 工作模式
- 高級特性-消息可靠投遞-confirm
- 高級特性-消息可靠投遞-return
- 高級特性-Consumer Ack
- 高級特性-消費端限流
- 高級特性-TTL
- 高級特性-死信隊列
- Centos7下安裝rabbitmq
- 數據庫
- MongoDB
- MongoDB 相關概念
- Mysql
- 索引總結
- MySQL架構圖
- InnoDB和MyISAM的區別
- 索引設計與優化
- 悲觀鎖和樂觀鎖
- mysql如何解除死鎖狀態
- 查詢慢
- 數據庫主鍵的優缺點
- MySQL鎖詳解
- SQL語句分類
- 開查詢賬號
- 數據庫遷移
- MySQL實戰知識點
- mysql清理binlog日志
- 面試總結
- 事務隔離
- 聚集索引與非聚集索引
- B樹和B+樹
- docker
- docker-desktop安裝的坑點
- docker在linux平臺下安裝
- Ubuntu安裝Docker
- 常用命令
- 適用于 Linux 的 Windows 子系統沒有已安裝的分發版
- docker核心架構圖
- docker安裝lnmp環境
- docker安裝redis
- dockerfile
- docker-compose
- 清除容器日志
- linux
- Ubuntu 更換國內源
- centos
- 常用命令
- virtualbox
- 關于VirtualBox安裝Ubuntu時界面顯示不全,沒有下一步選項
- linux復制當前目錄到其子目錄下
- 命令
- cat和>、>>
- crontab命令
- 空間大小查詢命令
- shell登錄和非shell登錄
- nginx
- 正向代理
- 反向代理
- 負載均衡
- 分割Nginx的access.log日志并保留30天一個月時長,自動刪除多余的日志
- linux安裝nginx
- git
- 生成秘鑰
- 常用命令
- Linux中git保存用戶名密碼
- git清除賬號密碼
- 設置git store 存儲賬號密碼
- git submodule 使用小結
- 微服務
- 微服務技術棧
- nacos
- Nacos服務分級存儲模型
- Nacos配置管理-配置熱更新
- Nacos集群搭建
- 微服務保護
- 初識Sentinel
- 隔離和降級
- es
- DSL查詢語法-相關性算法
- DSL查詢語法-FunctionScoreQuery
- DSL查詢語法-BooleanQuery
- 搜索結果處理-排序
- es深度分頁問題
- 自動補全
- elasticsearch 設置密碼
- redis
- redis簡介
- linux安裝redis
- 安裝redis擴展
- redis數據類型
- redis常見問題
- PHP 使用 Redis 實現分布式鎖
- 緩存更新策略
- [ Redis ] AOF 和 RDB 的相關介紹以及相關配置
- 分布式鎖的8大坑
- 分布式鎖-Redisson
- 內存回收
- UV統計
- Redis主從集群
- redis哨兵
- Redis安裝目錄下常見文件
- 通訊原理概述
- windows
- Win系統端口被占用
- Windows10 WSL2限制cpu和內存
- jekins
- 持續集成
- centos卸載gitlab
- jenkins搭配gitlab的webhook實現自動化部署
- 大數據
- Linux集群分發腳本xsync
- hadoop
- hadoop安裝
- hadoop配置文件
- clickhouse
- ClickHouse 安裝部署
- flink
- 數據倉庫
- zookeeper
- zookeeper分布式安裝
- ZK集群啟動停止腳本
- kafka
- kafka分布式安裝
- kafka集群啟動停止腳本
- flume
- flume分布式安裝
- Flume配置
- Flume使用
- maxwell
- Maxwell簡介
- Maxwell部署
- Maxwell使用
- MaxwellBootstrapUtility - Connections could not be acquired from the underlying database
- 線上事故