數據傾斜其實是進行分布式計算的時候，<mark>某些節點的計算能力比較強或者需要計算的數據比較少，早早執行完了，某些節點計算的能力較差或者由于此節點需要計算的數據比較多，導致出現其他節點的 reduce 階段任務執行完成，但是這種節點的數據處理任務還沒有執行完成。</mark> <br/> 單一 reduce 的記錄數與平均記錄數差異過大，通常可能達到 3 倍甚至更多， 最長時長遠大于平均時長。 <br/> 當我們在執行 HiveQL或者運行 MapReduce 作業時候，如果遇到一直卡在 map100%, reduce99% 一般就是遇到了數據傾斜的問題。 <br/> 在 hive 中產生數據傾斜的原因： * key 分布不均勻； * 業務數據本身的特性； * 建表時考慮不周； * 某些 SQL 語句本身就有數據傾斜；