[TOC] # 弊端 每個文件均按塊存儲,每個塊的元數據存儲在namenode的內存,因此hadoop存儲小文件會非常低效. 因為大量的小文件會耗盡namenode中的大部分內存.但注意,存儲小文件所需要的磁盤容量和存儲這些文件原始內容所需要的磁盤空間相比也不會增多 例如,一個1MB的文件以大小為128M的塊存儲,使用的是1M的磁盤空間,而不是128M # 解決 hadoop存檔文件或HAR文件,是一個更高效的文件存檔工具,它將文件存入HDFS塊,在減少namenode內存使用的同時,允許對文件進行透明的訪問.具體來說,hadoop存檔文件對內還是一個一個獨立文件,對namenode而言卻是一個整體,減少了namenode的內存使用的同時,允許對文件進行透明的訪問. 具體來說,hadoop存檔文件對內還是一個一個獨立文件,對namenode而言卻是一個整體,減少了namenode的內存 # 例子 啟動yarn進程 ~~~ start-yarn.sh ~~~ 歸檔文件 把/user/x目錄里面的所有文件歸檔成一個叫myhar.har的歸檔文件,并把歸檔后文件存儲到/user/my路徑下 ~~~ hadoop archive -archiveName myhar.har -p /user/x /user/my ~~~ 查看歸檔 ~~~ hadoop fs -lsr /user/my/myhar.har hadoop fs -lsr har:///user/my/myhar.har ~~~ 解開歸檔文件 ~~~ hadoop fs -cp har:///user/my/myhar.har /* ~~~