[TOC] ## 適合 * 大規模數據 * 流式數據（寫一次，讀多次） * 商用硬件（一般硬件） ## 不適合 * 低延時的數據訪問 * 大量的小文件 * 頻繁修改文件（基本就是寫1次） ## Hadoop目錄結構 * `bin`：Hadoop最基本的管理腳本和使用腳本的目錄，這些腳本是sbin目錄下管理 腳本的基礎實現，用戶可以直接使用這些腳本管理和使用Hadoop * `etc`：Hadoop配置文件所在的目錄，包括`core-site,xml、hdfs-site.xml、mapredsite.xml`等 * `include`：對外提供的編程庫頭文件（具體動態庫和靜態庫在lib目錄中），這些頭 文件均是用C++定義的，通常用于C++程序訪問HDFS或者編寫MapReduce程序 * `lib`：該目錄包含了Hadoop對外提供的編程動態庫和靜態庫，與include目錄中的 頭文件結合使用 * `libexec`：各個服務對用的shell配置文件所在的目錄，可用于配置日志輸出、啟動 參數（比如JVM參數）等基本信息 * `sbin`：Hadoop管理腳本所在的目錄，主要包含HDFS和YARN中各類服務的啟動/關 閉腳本 * `share`：Hadoop各個模塊編譯后的jar包所在的目錄 ## 三種Shell命令方式的區別 `hadoop fs` - `hadoop fs`適用于任何不同的文件系統，比如本地文件系統和HDFS文件系統 `hadoop dfs` - `hadoop dfs`只能適用于HDFS文件系統 `hdfs dfs` - * `hdfs dfs`跟`hadoop dfs`的命令作用一樣，也只能適用于HDFS文件系統 ## 各配置參數的作用及默認值 [官方參考](https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml) |參數|默認值| 描述| |---|---|---| |dfs.datanode.address | 0.0.0.0:50010 |用于數據傳輸的datanode服務器地址和端口| |dfs.datanode.http.address | 0.0.0.0:50075 | datanode http服務器地址和端口。| |dfs.namenode.http-address | 0.0.0.0:50070 | ui將監聽的地址和基本端口 | |dfs.namenode.name.dir | file://${hadoop.tmp.dir}/dfs/name| 確定DFS名稱節點應該存儲名稱表(fsimage)在本地文件系統的何處 | | dfs.datanode.data.dir | file://${hadoop.tmp.dir}/dfs/data | 確定DFS數據節點應該將其塊存儲在本地文件系統的何處。 | dfs.replication | 3 | 默認副本數 | | dfs.blocksize | 67108864 | The default block size for new files, in bytes. You can use the following suffix (case insensitive): k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa) to specify the size (such as 128k, 512m, 1g, etc.), Or provide complete size in bytes (such as 134217728 for 128 MB). | ## 接口 ### 創建目錄 `hadoop fs -mkdir /input` ### 查看目錄 `hadoop fs -ls -R /` ### 文件上傳 `hadoop fs -put /home/binguner/Desktop/test.txt /input` ### 獲取文件 `hadoop dfs -get /input/test.txt /home/binguenr/Desktop` ### 刪除文件 `hadoop dfs -get /input/test.txt /home/binguenr/Desktop` ## 問題 ### yum 安裝的 java 沒有jps `yum install java-1.8.0-openjdk-devel` ### Name node is in safe mode. 取消安全模式 `bin/hadoop dfsadmin -safemode leave`