[TOC] 默認情況下,Map階段同一key數據分發給一個reduce,當一個key數據過大時就傾斜了. 并不是所有的聚合操作都需要在reduce端完成,很多聚合操作都可以先在map端進行部分聚合,最后在reduce端得出最終結果 1. 開啟map端聚合參數設置 * 是否在map端進行聚合,默認為true ~~~ hive.map.aggr=true ~~~ * 在map端進行聚合操作的條目數目 ~~~ hive.groupby.mapaggr.checkinterval=100000 ~~~ * 有數據傾斜的時候進行負載均衡(默認是false) ~~~ hive.groupby.skewindata=true ~~~ **當選項設定為true,生成的查詢計劃會有兩個MR Job.** 第一個MR Job中,Map的輸出結果會隨機分布到Reduce中,每個Reduce做部分聚合操作,并輸出結果,這樣處理的結果是**相同的Group By Key有可能被分發到不同的Reduce中**,從而達到負載均衡的目的. 第二個MR Job再根據預處理的數據結果按照Group By Key分布到Reduce中(這個過程可以保證相同的Group By Key被分布到同一個Reduce中),最后完成最終的聚合操作