[TOC]
# 簡介
hive提供了一個嚴格模式,可以防止用戶執行那些可能產生意想不到的不好的效果的查詢。即某些查詢在嚴格模式下無法執行。通過設置hive.mapred.mode的值為strict,可以禁止3中類型的查詢。
我們可以在conf里面的`hive-default.xml.template`查看到他的默認模式類型
?
# 查詢一個分區表時
如果在一個分區表執行hive,除非where語句中包含分區字段過濾條件來顯示數據范圍,否則不允許執行。換句話說,就是用戶不允許掃描所有的分區。進行這個限制的原因是,通常分區表都擁有非常大的數據集,而且數據增加迅速。?如果沒有進行分區限制的查詢可能會消耗令人不可接受的巨大資源來處理這個表:例如
~~~
hive> select * from t_patition;
FAILED: SemanticException [Error 10041]: No partition predicate found for Alias "t_patition" Table "t_patition"
~~~
注意查詢的時候加上分區:
~~~
hive> select * from t_patition where country=’China’;
~~~
# 帶有order by的查詢
?對于使用了orderby的查詢,要求必須有limit語句。因為orderby為了執行排序過程會講所有的結果分發到同一個reducer中進行處理,強烈要求用戶增加這個limit語句可以防止reducer額外執行很長一段時間:
~~~
hive> select * from student order by id;
FAILED: SemanticException 1:31 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token 'id'
~~~
注意查詢的時候加上limit:
~~~
select * from student order by id limit 10;
~~~
# 限制笛卡爾積的查詢
對關系型數據庫非常了解的用戶可能期望在執行join查詢的時候不使用on語句而是使用where語句,這樣關系數據庫的執行優化器就可以高效的將where語句轉換成那個on語句。
不幸的是,hive不會執行這種優化,因此,如果表足夠大,那么這個查詢就會出現不可控的情況:
~~~
hive> SELECT * FROM fracture_act JOIN fracture_ads?> WHERE fracture_act.planner_id = fracture_ads.planner_id;?FAILED: Error in semantic analysis: In strict mode, cartesian product?is not allowed. If you really want to perform the operation,?+set hive.mapred.mode=nonstrict+
~~~
注意查詢的時候使用join和on語句的查詢:
~~~
hive> SELECT * FROM fracture_act JOIN fracture_ads?? ? ? ? > ON (fracture_act.planner_id = fracture_ads.planner_id);
~~~
- linux
- 常用命令
- 高級文本命令
- 面試題
- redis
- String
- list
- hash
- set
- sortedSet
- 案例-推薦
- java高級特性
- 多線程
- 實現線程的三種方式
- 同步關鍵詞
- 讀寫鎖
- 鎖的相關概念
- 多線程的join
- 有三個線程T1 T2 T3,保證順序執行
- java五種線程池
- 守護線程與普通線程
- ThreadLocal
- BlockingQueue消息隊列
- JMS
- 反射
- volatile
- jvm
- IO
- nio
- netty
- netty簡介
- 案例一發送字符串
- 案例二發送對象
- 輕量級RPC開發
- 簡介
- spring(IOC/AOP)
- spring初始化順序
- 通過ApplicationContextAware加載Spring上下文
- InitializingBean的作用
- 結論
- 自定義注解
- zk在框架中的應用
- hadoop
- 簡介
- hadoop集群搭建
- hadoop單機安裝
- HDFS簡介
- hdfs基本操作
- hdfs環境搭建
- 常見問題匯總
- hdfs客戶端操作
- mapreduce工作機制
- 案列-單詞統計
- 局部聚合Combiner
- 案列-流量統計(分區,排序,比較)
- 案列-倒排索引
- 案例-共同好友
- 案列-join算法實現
- 案例-求topN(分組)
- 自定義inputFormat
- 自定義outputFormat
- 框架運算全流程
- mapreduce的優化方案
- HA機制
- Hive
- 安裝
- DDL操作
- 創建表
- 修改表
- DML操作
- Load
- insert
- select
- join操作
- 嚴格模式
- 數據類型
- shell參數
- 函數
- 內置運算符
- 內置函數
- 自定義函數
- Transform實現
- 特殊分割符處理
- 案例
- 級聯求和accumulate
- flume
- 簡介
- 安裝
- 常用的組件
- 攔截器
- 案例
- 采集目錄到HDFS
- 采集文件到HDFS
- 多個agent串聯
- 日志采集和匯總
- 自定義攔截器
- 高可用配置
- 使用注意
- sqoop
- 安裝
- 數據導入
- 導入數據到HDFS
- 導入關系表到HIVE
- 導入表數據子集
- 增量導入
- 數據導出
- 作業
- 原理
- azkaban
- 簡介
- 安裝
- 案例
- 簡介
- command類型單一job
- command類型多job工作流flow
- HDFS操作任務
- mapreduce任務
- hive腳本任務
- hbase
- 簡介
- 安裝
- 命令行
- 基本CURD
- 過濾器查詢
- 系統架構
- 物理存儲
- 尋址機制
- 讀寫過程
- Region管理
- master工作機制
- 建表高級屬性
- 與mapreduce結合
- 協處理器
- 點擊流平臺開發
- 簡介
- storm
- 簡介
- 安裝
- 集群啟動及任務過程分析
- 單詞統計
- 并行度
- ACK容錯機制
- ACK簡介