<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                合規國際互聯網加速 OSASE為企業客戶提供高速穩定SD-WAN國際加速解決方案。 廣告
                如果不指定Map Join或者不符合Map Join的條件,那么Hive解析器會將join操作轉換為Common Join,即在Reduce階段完成join,容易發生數據傾斜。 <br/> 我們可以用Map Join把小表全部加載到內存中,讓其在Map端進行join,避免reducer處理。 <br/> **開啟Map Join:** ```sql -- 開啟Map join。默認就是true,開啟 hive(default)> set hive.auto.convert.join=true; -- 大表、小表的閾值設置,默認25M是就是小表 -- 單位為Byte hive(default)> set hive.mapjoin.smalltable.filesize=25000000; ``` <br/> **Map Join的工作機制:** ![](https://img.kancloud.cn/8f/75/8f7550f5b2bf6bc3318e675d58499b7c_1209x632.png) 首先是 Task A,它是一個 Local Task(在客戶端本地執行的 Task),負責掃描小表 b 的數據,將其轉換成一個 HashTable 的數據結構,并寫入本地的文件中,之后將該文件加載到 DistributeCache 中。 <br/> 接下來是 Task B,該任務是一個沒有 Reduce 的 MR,啟動 MapTasks 掃描大表 a,在 Map 階段,根據 a 的每一條記錄去和 DistributeCache 中 b 表對應的HashTable 關聯,并直接輸出結果。 <br/> 由于 MapJoin 沒有 Reduce,所以由 Map 直接輸出結果文件,有多少個 Map Task,就有多少個結果文件。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看