[TOC] # 修改hadoop集群具有Snapp壓縮方式 **查看hadoop checknative命令使用** ~~~ hadoop 里面有個checknative ~~~ **查看hadoop支持的壓縮方式** ~~~ hadoop checknative ~~~ 可以看到支持哪些壓縮不支持哪些 我們把編譯好帶snappy壓縮的hadoop上傳上來,解壓他到/path/lib/native文件夾中. 把里面native拷貝到自己hadoop的/path/lib/native文件夾中 ~~~ cp ../native/* /path/hadoop/lib/native ~~~ 再來查看下 ~~~ hadoop checknative ~~~ 發現snappy是true了 這時候要想支持,還需要把hive和hadoop重啟才可以 # 存儲和壓縮 ~~~ create table log( url string, ip string ) row format delimited fields terminated by '\t' stored as orc tblproperties("orc.compress"="SNAPPY"); ~~~ 存儲選擇orc,壓縮選擇SNAPPY # 總結 在實際開發中,hive表的數據存儲格式一般選擇:ORC或parquet. 壓縮方式一般選擇snappy,lzo ORC格式的表不能直接load進去,要用其他表select后insert進去