[TOC] # 簡介 大多數的hadoop job是需要hadoop提供的完整的可擴展性來處理大數據集的. 不過,有時hive的輸入數據量是非常小的.在這種情況下,為查詢觸發執行任務消耗的時間可能會比實際job的執行時間要多的多. 對于大多數這種情況,**hive可通過本地模式在單臺機器上處理所有的任務**. 對于小數據集,執行時間可以明顯被縮短 # 配置 用戶可以設置hive.exec.mode.local.auto的值為true,來讓hive在適當的時候自動啟動這個優化 ~~~ //開啟本地mr set hive.exec.mode.local.auto=true; //設置local mr的最大輸入數據量,當輸入數據量小于這個值時采用local mr的方式,默認為134217728,即128M set hive.exec.mode.local.auto.inputbytes.max=50000000; //設置local mr的最大輸入文件個數,當輸入文件個數小于這個值時采用local mr的方式,默認為4 set hive.exec.mode.local.auto.input.files.max=10; ~~~ # 案例 1. 開啟本地模式,并執行查詢語句 ~~~ hive> set hive.exec.mode.local.auto=true; hive> select * from emp cluster by deptno; ~~~ 看下查詢時間Time taken 2. 關閉本地模式,并執行查詢語句 ~~~ hive> set hive.exec.mode.local.auto=true; hive> select * from emp cluster by deptno; ~~~ 看下查詢時間Time taken