[TOC] # 前言 * 設計思想 分而治之：將大文件、大批量文件，分布式存放在大量服務器上，以便于采取分而治之的方式對海量數據進行運算分析； * 在大數據系統中作用： 為各類分布式運算框架（如：mapreduce，spark，tez，……）提供數據存儲服務 * 重點概念：文件切塊，副本存放，元數據 # HDFS的概念和特性 首先，它是一個文件系統，用于存儲文件，通過統一的命名空間——目錄樹來定位文件 其次，它是分布式的，由很多服務器聯合起來實現其功能，集群中的服務器有各自的角色； 重要特性如下： 1. HDFS中的文件在物理上是分塊存儲（block），塊的大小可以通過配置參數( dfs.blocksize)來規定，默認大小在hadoop2.x版本中是128M，老版本中是64M 2. HDFS文件系統會給客戶端提供一個統一的抽象目錄樹，客戶端通過路徑來訪問文件，形如：`hdfs://namenode:port/dir-a/dir-b/dir-c/file.data` 3. 目錄結構及文件分塊位置信息(元數據)的管理由namenode節點承擔 `——namenode`是HDFS集群主節點，負責維護整個hdfs文件系統的目錄樹，以及每一個路徑（文件）所對應的block塊信息（block的id，及所在的datanode服務器） 4. 文件的各個block的存儲管理由datanode節點承擔 `---- datanode`是HDFS集群從節點，每一個block都可以在多個datanode上存儲多個副本（副本數量也可以通過參數設置dfs.replication，默認是3） 5. HDFS是設計成適應一次寫入，多次讀出的場景，且不支持文件的修改 (注：適合用來做數據分析，并不適合用來做網盤應用，因為，不便修改，延遲大，網絡開銷大，成本太高)