默認情況下，Map 階段同一 Key 數據分發給一個 reduce，當一個 key 數據過大時就會產生數據傾斜。但在數據計算時，并不是所有的聚合操作都需要在Reduce 端完成，很多聚合操作都可以先在 Map 端進行部分聚合，最后在 Reduce端得出最終結果。 <br/> **開啟Map端聚合：** ```sql -- 開啟在Map端聚合。默認就是true，開啟 hive(default)> set hive.map.aggr=true; -- 在Map端進行聚合的條目數目 hive(default)> set hive.groupby.mapaggr.checkinterval=100000; -- 在數據傾斜時進行負載均衡 --默認是false，關閉 hive(default)> set hive.groupby.skewindata=true; ``` 當`hive.groupby.skewindata=true`時，生成的查詢計劃會有兩個 MR Job。 （1）第一個Map Job： Map 的輸出結果會隨機分布到 Reduce 中，每個 Reduce 做部分聚合操作，并輸出結果，這樣處理的結果是相同的 Group By Key 有可能被分發到不同的 Reduce中，從而達到負載均衡的目的； （2）第二個Map Join: 第二個 MR Job 再根據預處理的數據結果按照Group By Key 分布到 Reduce 中（這個過程可以保證相同的 Group By Key 被分布到同一個 Reduce 中），最后完成最終的聚合操作。