[TOC] # 數據傾斜現象 數據頻率傾斜---某一個區域的數據量要遠遠大于其他區域 數據大小傾斜---部分記錄的大小遠遠大于平均值 # 如何收集傾斜數據 在reduce方法中加入記錄map輸出鍵的詳細情況的功能 ~~~ public static final String MAX_VALUES = "skew.maxvalues"; private int maxValueThreshold; @Override public void configure(JobConf job) { //設置個最大值 maxValueThreshold = job.getInt(MAX_VALUES, 100); } @Override protected void reduce(Text key, Iterator<Text> values, OutputCollector<Text, Text> output, Reporter reporter) throws IOException, InterruptedException { int i = 0; while(values.hasNext()) { values.next(); //迭代的時候把這個加加 i++; } //如果值大于自己設置的最大值,就把他們記錄下來 if (++i > maxValueThreshold) { log.info("Received"+ i + " values for key " + key); } } ~~~