[TOC] # 對namenode的影響 HDFS上每個文件都要在namenode上建立一個索引,這個索引的大小約為150Byte,這樣當小文件比較多的時候,就會產生很多索引文件 一方面會大量占用namenode的內存空間 另一方面就是索引文件過大使得索引速度變慢 # 解決方案 ## hadoop Archive 是一個高效的將小文件放入HDFS塊中的文件存檔工具,它能夠將多個小文件打包成一個HAR文件,這樣就減少了namenode的內存使用 ## Sequence file sequence file由一系列的二進制key/value組成,如果key為文件名,value為文件內容,則可以將大批小文件合并成一個大文件 ## CombineFileInputFormat CombineFileInputFormat是一種新的inputformat,用于將多個文件合并成一個單獨的split,另外,它會考慮數據的存儲位置 ## 開啟JVM重用 對于大量小文件Job,可以開啟JVM重用會減少45%運行時間 JVM重用理解:一個map運行一個jvm,重用的話,在一個map在jvm上運行完畢后,jvm繼續運行其他map 具體設置 ~~~ mapreduce.job.jvm.numtasks值在10-20之間 ~~~