在分布式集群環境下,因為程序Bug(包括hadoop本身的bug),負載不均衡或者資源分布不均等原因,會造成同一個作業的多個任務之間運行速度不一致,有些任務的運行速度可能明顯慢于其他任務(比如一個作業的某個任務進度只有50%,而其他所有任務已經運行完畢),則這些任務會拖慢作業的整體執行進度. 為了避免這種情況發生,hadoop采用了推測執行機制,他根據一定的法則推測出"拖后腿"的任務,并為這樣的任務啟動一個備份任務,讓該任務與原始任務同時處理同一份數據,并最終選用最先成功運行完成任務的計算結果作為最終結果 設置開啟推測執行參數:hadoop的mapred-site.xml文件中設置 ~~~ <property> <name>mapreduce.map.speculative</name> <value>true</value> <description>if true then multiple instances of some man tasks may be executed in parallel</description> </property> ~~~ 不過hive本身也提供了配置項來控制reduce-side的推測執行 如果想開的話,hive下面這個配置也要開 ~~~ <property> <name>hive.mapred.reduce.tasks.speculative.execution</name> <value>true</value> <description>whether speculative execution for reducers should be turned on</descriptiom> </property> ~~~ 關于調優這些推測執行變量,還很難給一個具體的建議.如果用戶對于運行時的偏差非常敏感的話,那么可以將這些功能關閉掉. 如果用戶因為輸入數據量很大而需要執行長時間的map或者reduce task的話,那么啟動推測執行造成的浪費是非常大的