壓縮可以節約磁盤的空間，基于文本的壓縮率可達40%+。壓縮可以增加吞吐量和性能量(減小載入內存的數據量)，但是在壓縮和解壓過程中會增加CPU的開銷。所以針對IO密集型的jobs(非計算密集型)可以使用壓縮的方式提高性能。 |壓縮格式 |Hadoop自帶 |算法 |文件擴展名 |支持切分 |換成壓縮格式后，原來的程序是否需要修改| 壓縮/解壓速度 | | --- | --- | --- | --- | --- | --- | --- | |DEFLATE |是，直接使用 |DEFLATE|.deflate |否 |和文本處理一樣，不需要修改 | - | |Gzip |是，直接使用 |DEFLATE|.gz |否 |和文本處理一樣，不需要修改 | 中 | |bzip2 |是，直接使用 |bzip2 |.bz2 |是 |和文本處理一樣，不需要修改 | 慢 | |LZO |否，需要安裝 |LZO |.lzo |是 |需要建索引，還需要指定輸入格式 | 快 | |Snappy |否，需要安裝 |Snappy |.snappy |否 |和文本處理一樣，不需要修改 | 快 | 在實際項目中使用Snappy比較多，優點是速度快，缺點無法切分（針對切分的問題，Reduce端輸出使用bzip2壓縮，以便后續的map任務對數據進行split）。 ```sql create table a_orc ( customerid int, name string, age int, address string ) stored as orc tblproperties ("orc.compress" = "snappy"); ```