<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>
          

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>
          

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>
          

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>
                <ruby id="bdb3f"></ruby>
                
    


                
  
                                            
                                                        
        
                
          企業??AI智能體構建引擎，智能編排和調試，一鍵部署，支持知識庫和私有化部署方案
          廣告
        
                        
                                            
  

                

                
    
                
        
                
                            
[TOC]

# 分區

默認分區是根據key的hashCode對reduceTasks個數取模得到的.用戶沒法控制那個key存儲到那個分區

自定義分區需要
1. 自己寫個類繼承抽象類Partitioner,這個類就是定義分區規則的
2. 在job驅動中,設置自定義partitioner
3. 設置reduce個數

# 寫法

Mapreduce中會將map輸出的k-v對，按照相同key分組，然后分發給不同的reducetask
默認的分發規則為：根據key的`hashcode%reducetask`數來分發
所以：如果要按照我們自己的需求進行分組，則需要改寫數據分發（分組）組件Partitioner

**數據傾斜問題:
單純某個key的數據量大,可在key之后增加隨機數,把相應的key打散**

自定義一個CustomPartitioner繼承抽象類：Partitioner
然后在job對象中，設置自定義`partitioner: job.setPartitionerClass(CustomPartitioner.class)`

我們需要繼承Partitioner這個分區類,來實現我們自己的分區


                    
                
        
                
            
        
                
    
                
    
                
        
                
    
                

                







                  <ruby id="bdb3f"></ruby>
                  <p id="bdb3f"><cite id="bdb3f"></cite></p>
                    

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>
                        

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>
                        

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>
                        

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>
                              <ruby id="bdb3f"></ruby>
                              

哎呀哎呀视频在线观看