隨著數據量越來越大，在一個操作系統磁盤空間肯定存不下了，那么就需要分配到更多的操作系統管理的磁盤中，也就是常說的分布式存儲-集群多機器存儲。但是涉及多個機器存儲，就不方便管理和維護。 <br/> HDFS 就是一個很好的分布式文件管理系統。它使用多臺機器（一般是Linux）機器上的特定磁盤空間作為文件系統的存儲空間，相當于整合了多臺機器的存儲空間為自己所用。擴大了存儲空間。 <br/> 對于文件來說，HDFS也作出了一些特有的設計方式。它將每一個文件切分成多個塊進行存儲，將切分后的塊分散存儲到多臺機器上，<mark>Hadoop2.x 版本中默認塊大小是 128MB</mark>。比如一個文件大小 300MB，那么在 HDFS 中，會被切分成三個數據塊（128MB，128MB，44MB），三個塊都是獨立的，它們會被存儲在不同的機器上。這樣做的好處就是不會有超大文件的影響，最大的塊只有128MB，對機器性能要求不高，可以部署在廉價的機器上。 <br/> 從上面的設計中，可以看出 HDFS 至少要提供以下幾項功能： （1）要將文件進行切分； （2）一個文件被切分后，被分成多少塊，每個塊存儲在哪些機器上，這些都是需要記錄的，不然，文件存進去了，不能查出來； （3）數據丟失的問題，HDFS 可以部署在廉價的機器上，那就會存在某個機器損壞，導致數據丟失，也就是說 HDFS 還得提供容錯功能。HDFS 采用的是<mark>副本機制</mark>，對切分后的文件塊進行備份。 <br/> **副本機制：** 副本作用：避免數據丟失； 副本數：副本數默認為 3，我們搭建偽分布式集群，所以副本數改為 1。副本的數量可以由下面的參數控制 *`{hadoop_home}/etc/hadoop/core-site.xml/hdfs-site.xml`* ```xml <configuration> <!-- 指定HDFS副本的數量為1，默認為3 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 存放機制（3 個副本的情況下）： ? 一個在本地機架節點 ? 一個在同一個機架不同節點 ? 一個在不同機架的節點