mapreduce的優化方案 · JAVA

[TOC] # MapReduce重要配置參數 ## 資源相關參數 **以下參數是在用戶自己的mr應用程序中配置就可以生效** 1. **mapreduce.map.memory.mb**: 一個Map Task可使用的資源上限（單位:MB），默認為1024。如果Map Task實際使用的資源量超過該值，則會被強制殺死。 2. **mapreduce.reduce.memory.mb**: 一個Reduce Task可使用的資源上限（單位:MB），默認為1024。如果Reduce Task實際使用的資源量超過該值，則會被強制殺死。 3. **mapreduce.map.cpu.vcores**: 每個Map task可使用的最多cpu core數目, 默認值: 1 4. **mapreduce.reduce.cpu.vcores**: 每個Reduce task可使用的最多cpu core數目, 默認值: 1 5. `mapreduce.map.java.opts`: Map Task的JVM參數，你可以在此配置默認的java heap size等參數, e.g. `“-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc” `（@taskid@會被Hadoop框架自動換為相應的taskid）, 默認值: “” 6. `mapreduce.reduce.java.opts`: Reduce Task的JVM參數，你可以在此配置默認的java heap size等參數, e.g. `“-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc”`, 默認值: “” **應該在yarn啟動之前就配置在服務器的配置文件中才能生效** 7. `yarn.scheduler.minimum-allocation-mb` 1024 給應用程序container分配的最小內存 8. `yarn.scheduler.maximum-allocation-mb` 8192 給應用程序container分配的最大內存 9. `yarn.scheduler.minimum-allocation-vcores` 1 10. `yarn.scheduler.maximum-allocation-vcores` 32 11. `yarn.nodemanager.resource.memory-mb` 8192 **shuffle性能優化的關鍵參數，應在yarn啟動之前就配置好** 12. mapreduce.task.io.sort.mb 100 ` //shuffle的環形緩沖區大小，默認100m` 14. mapreduce.map.sort.spill.percent 0.8 `//環形緩沖區溢出的閾值，默認80%` ## 容錯相關參數 1. `mapreduce.map.maxattempts`: 每個Map Task最大重試次數，一旦重試參數超過該值，則認為Map Task運行失敗，默認值：4。 2. `mapreduce.reduce.maxattempts`: 每個Reduce Task最大重試次數，一旦重試參數超過該值，則認為Map Task運行失敗，默認值：4。 3. `mapreduce.map.failures.maxpercent`: 當失敗的Map Task失敗比例超過該值為，整個作業則失敗，默認值為0. 如果你的應用程序允許丟棄部分輸入數據，則該該值設為一個大于0的值，比如5，表示如果有低于5%的Map Task失敗（如果一個Map Task重試次數超過mapreduce.map.maxattempts，則認為這個Map Task失敗，其對應的輸入數據將不會產生任何結果），整個作業扔認為成功。 4. `mapreduce.reduce.failures.maxpercent`: 當失敗的Reduce Task失敗比例超過該值為，整個作業則失敗，默認值為0. 5. `mapreduce.task.timeout`: Task超時時間，經常需要設置的一個參數，該參數表達的意思為：如果一個task在一定時間內沒有任何進入，即不會讀取新的數據，也沒有輸出數據，則認為該task處于block狀態，可能是卡住了，也許永遠會卡主，為了防止因為用戶程序永遠block住不退出，則強制設置了一個該超時時間（單位毫秒），默認是300000。如果你的程序對每條輸入數據的處理時間過長（比如會訪問數據庫，通過網絡拉取數據等），建議將該參數調大，該參數過小常出現的錯誤提示是`“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”` ## 本地運行mapreduce 作業設置以下幾個參數: ~~~ mapreduce.framework.name=local mapreduce.jobtracker.address=local fs.defaultFS=local ~~~ ## 效率和穩定性相關參數 1. mapreduce.map.speculative: 是否為Map Task打開推測執行機制，默認為false 2. mapreduce.reduce.speculative: 是否為Reduce Task打開推測執行機制，默認為false 3. mapreduce.job.user.classpath.first & mapreduce.task.classpath.user.precedence：當同一個class同時出現在用戶jar包和hadoop jar中時，優先使用哪個jar包中的class，默認為false，表示優先使用hadoop jar中的class。 4. mapreduce.input.fileinputformat.split.minsize: FileInputFormat做切片時的最小切片大小， 5. mapreduce.input.fileinputformat.split.maxsize: FileInputFormat做切片時的最大切片大小 (切片的默認大小就等于blocksize，即 134217728)