2. 程式人生 > >Hive中壓縮使用詳解與效能分析

Hive中壓縮使用詳解與效能分析

阿新 • • 發佈：2019-01-06

     HIVE底層是hdfs和mapreduce實現儲存和計算的。所以HIVE可以使用hadoop自帶的InputFormat和Outputformat實現從不同的資料來源讀取檔案和寫出不同格式的檔案到檔案系統中。同理，HIVE也可以使用hadoop配置的壓縮方法對中間結果或最終資料進行壓縮。

1.什麼是壓縮及優劣？

       hive中資料做壓縮和解壓縮跟windows下的資料壓縮差不錯，同樣有很多中壓縮演算法，結果是以不同的字尾名區別。使用資料壓縮好處是可以最大程度的減少檔案所需的磁碟空間和網路I/O的開銷,尤其文字檔案一般壓縮率可以高達40%左右,對於叢集來說頻寬是稀有資源，所有網路傳輸效能的提升很重要 。但是使用壓縮和解壓縮會增加CPU的開銷。

     所以具體使不使用資料壓縮，具體取決於job型別：對那些I/O密集型的作業使用資料壓縮，cpu密集型，使用壓縮反而會降低效能。不過對於作業的型別的判斷，只能通過實際測量對比執行結果去分析。

2.HIVE中常見的壓縮演算法

      注意，注意，注意，hive中的壓縮演算法主要取決於hadoop版本。不同的版本會系統不同的壓縮編碼和解碼器。比如我們公司目前使用的hadoop2.9版本已經支援了很多種壓縮方式，版本越高支援的壓縮方式越多。可以在hadoop下的core-site.xm檔案中配置壓縮方式,hive使用的也是這個配置檔案。如下是我叢集中配置的的壓縮方式，實際開發中可以根據自己需求配置壓縮方式。當然如果不配置的話，預設則不會使用壓縮。比如我們公司就沒有配置使用snappy壓縮方法。

<property>  
        <name>io.compression.codecs</name>  
        <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec</value>  
</property>

可以通過如下命令檢視hive中已經配置好的壓縮演算法。使用set命令可以檢視所有hive配置檔案中的屬性值以及hive安裝環境的hadoop檔案的屬性值。hive中預設壓縮是關閉的，可以通過set hive.exec.compress.output來檢視

hive (fdm_sor)> set io.compression.codecs;
io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec,
org.apache.hadoop.io.compress.BZip2Codec

     如上查詢的結果是對應的演算法在hadoop底層的類，為什麼要有不同壓縮演算法呢？主要是因為不同的壓縮演算法在壓縮率和壓縮時間，壓縮的檔案是否可切分等方面都不同，實際開發中需要根據實際情況權衡使用。   

 壓縮格式              對應的類  副檔名  是否支援多檔案  檔案可分割性

 DEFLATE

（預設）

  org.apache.hadoop.io.compress.DefaultCodec  .deflate  不  不
 gzip org.apache.hadoop.io.compress.GzipCodec  .gz  不  不
 bzip2 org.apache.hadoop.io.compress.BZip2Codec  .bz2  不  是
 LZO  com.hadoop.compression.lzo.LzopCodec  .lzo_deflate  不  是
Lzop com.hadoop.compression.lzo.LzopCodec; .lzo  不  是

三.HIVE中壓縮演算法效能分析

       這裡測試的表中檔案是516.4MB,hadoop環境的塊設定大小是256Mb，正好這樣資料儲存是分塊儲存，計算有IO的開銷。可以測算不同壓縮演算法下資料傳輸計算的時間，以及壓縮率等因子。

[robot~]hadoop fs -du h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201901
516.4 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201901/201901.txt
這是直接從linux本地load的檔案到hdfs上，檔案實際資料大小是516.4Mb

1.hive中不使用壓縮,進行計算與儲存

--1.無壓縮演算法下進行資料儲存計算。
set hive.exec.compress.output=false; --預設就是false的
insert overwrite table t_fin_demo partition(staits_date ='201900') 
select 
name,
id_type,
idcard,
org,
loan_no,
busi_type,
busi_category,
open_date,
dure_date,
loan_amount,
happen_time,
amout,
due_amt,
stat
from t_fin_demo where staits_date ='201901';

2.使用du -h命令檢視hdfs上檔案儲存情況
[[email protected] software]$ hadoop fs -du -h /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201900

271.0 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201900/000000_0
271.0 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201900/000001_0
4.7 M    /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201900/000002_0
3.程式執行時間
Total MapReduce CPU Time Spent: 54 seconds 200 msec
Time taken: 36.445 seconds

 總結：從上面資料看出，無壓縮模式下，資料儲存的格式就是文字格式，無後綴名，可以直接從-cat檢視。檔案儲存大小是原本檔案的大小271+271+4.7=546.7Mb，執行時間是36.445。

2.使用hive預設的壓縮方式，hive儲存的檔案字尾是.deflate

1.使用deflate進行壓縮
set hive.exec.compress.output=true; 
--true是開啟壓縮，預設是關閉的，如果開啟後不指定壓縮方式，預設使用defalte。
set  mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.DefaultCodec;
insert overwrite  table t_fin_demo partition(staits_date ='201904') 
select 
name,
id_type,
idcard,
org,
loan_no,
busi_type,
busi_category,
open_date,
dure_date,
loan_amount,
happen_time,
amout,
due_amt,
stat
from t_fin_demo where staits_date ='201901';

2.檢視資料儲存和計算情況
[[email protected] hadoop]$ hadoop fs -du -h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201903
75.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201903/000000_0.deflate
75.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201903/000001_0.deflate
1.3 M   /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201903/000002_0.deflate

3.程式耗時時間：
Time taken: 54.659 seconds

總結：上面資料看，使用預設的的deflate壓縮演算法，資料儲存檔案字尾名為.deflate.檔案儲存的大小是：75.9+75.9+1.3=153.1。程式耗時是54.659s.可以看出deflate壓縮的壓縮率很高，但是程式耗時相比不壓縮有所上升。

3.使用gzip進行壓縮，hive中檔案字尾是.gz

1.使用Gzip進行壓縮儲存
set hive.exec.compress.output=true;
set  mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec;
insert overwrite  table t_fin_demo partition(staits_date ='201904') 
select 
name,
id_type,
idcard,
org,
loan_no,
busi_type,
busi_category,
open_date,
dure_date,
loan_amount,
happen_time,
amout,
due_amt,
stat
from t_fin_demo where staits_date ='201901';

2.使用du -h命令檢視hdfs上檔案儲存情況
[[email protected] hadoop]$ hadoop fs -du -h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201904
75.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201904/000000_0.gz
75.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201904/000001_0.gz
1.3 M   /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201904/000002_0.gz

3.程式執行時間
Total MapReduce CPU Time Spent: 1 minutes 33 seconds 430 msec
OK
Time taken: 62.436 seconds

總結：上面資料看，使用預設的的gzip壓縮演算法，資料儲存檔案字尾名為.gz檔案儲存的大小是：75.9+75.9+1.3=153.1。程式耗時是62.436.如果下載到windows本地解壓後可讀

4.使用lzo壓縮演算法進行壓縮，檔案字尾是.lzo_deflate

1.使用lzo進行壓縮儲存
set hive.exec.compress.output=true;
set  mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzoCodec;
insert overwrite  table t_fin_demo partition(staits_date ='201905') 
select 
name,
id_type,
idcard,
org,
loan_no,
busi_type,
busi_category,
open_date,
dure_date,
loan_amount,
happen_time,
amout,
due_amt,
stat
from t_fin_demo where staits_date ='201901';

2.使用du -h命令檢視hdfs上檔案儲存情況
[[email protected] hadoop]$ hadoop fs -du -h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201905
121.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201905/000000_0.lzo_deflate
121.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201905/000001_0.lzo_deflate
2.1 M    /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201905/000002_0.lzo_deflate

3.程式執行時間
Total MapReduce CPU Time Spent: 58 seconds 700 msec
OK
Time taken: 42.45 seconds

總結：上面資料看，使用預設的的lzo壓縮演算法，資料儲存檔案字尾名為.lzo_deflate.檔案儲存的大小是：121.9+121.9+2.1=245.9。程式耗時是42.45s。

5.使用Lzop壓縮方式，hive儲存的檔案字尾是.lzo

1.使用lzop進行壓縮儲存
set hive.exec.compress.output=true;
set  mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec;
insert overwrite  table t_fin_demo partition(staits_date ='201906') 
select 
name,
id_type,
idcard,
org,
loan_no,
busi_type,
busi_category,
open_date,
dure_date,
loan_amount,
happen_time,
amout,
due_amt,
stat
from t_fin_demo where staits_date ='201901';

2.使用du -h命令檢視hdfs上檔案儲存情況
[[email protected] hadoop]$ hadoop fs -du -h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201906
121.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201906/000000_0.lzo
121.9 M  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201906/000001_0.lzo
2.1 M    /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201906/000002_0.lzo

3.程式執行時間
Total MapReduce CPU Time Spent: 47 seconds 280 msec
OK
Time taken: 34.439 seconds

總結：上面資料看，使用預設的的Lzop壓縮演算法，資料儲存檔案字尾名為.lzo。檔案儲存的大小是：121.9+121.9+2.1=245.9。程式耗時是34.439s。

6.使用BZip2壓縮方式，hive儲存的檔案字尾是.bz2

1.使用Bzip2進行壓縮儲存
set hive.exec.compress.output=true;
set  mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.BZip2Codec;
insert overwrite  table t_fin_demo partition(staits_date ='201907') 
select 
name,
id_type,
idcard,
org,
loan_no,
busi_type,
busi_category,
open_date,
dure_date,
loan_amount,
happen_time,
amout,
due_amt,
stat
from t_fin_demo where staits_date ='201901';

2.使用du -h命令檢視hdfs上檔案儲存情況
[[email protected] hadoop]$ hadoop fs -du -h  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201907
52.5 M   /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201907/000000_0.bz2
52.5 M   /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201907/000001_0.bz2
935.2 K  /user/finance/hive/warehouse/fdm_sor.db/t_fin_demo/staits_date=201907/000002_0.bz2

3.程式執行時間
Total MapReduce CPU Time Spent: 2 minutes 47 seconds 530 msec
OK
Time taken: 96.42 seconds

總結：上面資料看，使用預設的的Bzip2壓縮演算法，資料儲存檔案字尾名為.bz2。檔案儲存的大小是：52.5+52.5+0.934=106Mb。程式耗時是96.42s

各種壓縮演算法綜合分析

壓縮方式 原檔案大小 壓縮後文件 執行時間 備註
不使用壓縮 516.4Mb 546.70Mb 36.445s  
defalte(預設壓縮) 516.4Mb 153.16Mb 54.659s 壓縮率高
lzo壓縮 516.4Mb 245.90Mb 42.45s LZO壓縮和解壓縮很快，但是壓縮的檔案較大
Lzop壓縮 516.4Mb 249.90Mb 34.439s LZOP壓縮和解壓縮很快，但是壓縮的檔案較大
gzip壓縮 516.4Mb 153.16Mb 62.436s GZip 和 BZip2壓縮可以保證最小的壓縮檔案，但是過於消耗時間，非常不適合CPU型運算。
Bzip2壓縮 516.4Mb 106.00Mb 96.42s  GZip 和 BZip2壓縮可以保證最小的壓縮檔案，但是過於消耗時間，不適合CPU型運算。

綜合上表可以看出，每種壓縮演算法都有自己的優缺點。具體使用哪種壓縮取決於具體儲存的資料格式與計算模式有關。具體壓縮使用與原理參考後續部落格。

1.就壓縮比來說：bzip2>gzip>deflate>lzo，故bzip2最節省儲存空間，但是耗時高哇。

2.解壓速度和耗時：lzo>deflate>gzip>bzip2   lzo解壓速度是最快的

相關推薦

Hive中壓縮使用詳解與效能分析

     HIVE底層是hdfs和mapreduce實現儲存和計算的。所以HIVE可以使用hadoop自帶的InputFormat和Outputformat實現從不同的資料來源讀取檔案和寫出不同格式的檔案到檔案系統中。同理，HIVE也可以使用hadoop配置的壓縮方

C++中lambda表示式詳解與原理分析

lambda表示式的本質就是過載了()運算子的類，這種類通常被稱為functor，即行為像函式的類。因此lambda表示式物件其實就是一個匿名的functor。 C++中lambda表示式的構成 一個標準的lambda表示式包括：捕獲列表、引數列表、mu

Javascript中DOM詳解與學習

DOM（文件物件模型）是針對html和XML文件的一個API（應用程式程式設計介面）。DOM描繪了一個層次化的節點樹，允許開發人員新增，移除和修改頁面的某一部分。下面將從這幾個層次來學習。 一、節點層次 1、DOM可以將任何HTML或XML文件描繪成一個由多層節點構成的結構。節點分為幾種不同的型別，每種型

Android觸控式螢幕事件派發機制詳解與原始碼分析三(Activity篇)

PS一句：最終還是選擇CSDN來整理髮表這幾年的知識點，該文章平行遷移到CSDN。因為CSDN也支援MarkDown語法了，牛逼啊！ 【工匠若水 http://blog.csdn.net/yanbober】 該篇承接上一篇《Android觸控式螢幕事件派發機制詳解與原始碼分析

Android觸控式螢幕事件派發機制詳解與原始碼分析二(ViewGroup篇)

【工匠若水 http://blog.csdn.net/yanbober】 該篇承接上一篇《Android觸控式螢幕事件派發機制詳解與原始碼分析一(View篇)》，閱讀本篇之前建議先閱讀。當然，閱讀完這一篇之後可以閱讀繼續進階的下一篇《Android觸控式螢幕事件派發機制詳解與原始碼

Android觸控式螢幕事件派發機制詳解與原始碼分析一(View篇)

【工匠若水 http://blog.csdn.net/yanbober】 Notice：閱讀完該篇之後如果想繼續深入閱讀Android觸控式螢幕事件派發機制詳解與原始碼分析下一篇請點選《Android觸控式螢幕事件派發機制詳解與原始碼分析二(ViewGroup篇)》檢視。 1

springmvc處理請求詳解與原始碼分析

一、Dispatchservlet繼承體系 在我上一篇部落格中，我主要分析了springmvc體系的建立過程，主要是上圖中DispatcherServlet，它的父類FrameworkServlet，及HttpServletBean的建立過程，詳情可至 s

Android之SharedPreferences詳解與原理分析

SharedPreferences作為Android儲存資料方式之一，主要特點是： 1. 只支援Java基本資料型別，不支援自定義資料型別； 2. 應用內資料共享； 3. 使用簡單． 使用方法 １、存資料 SharedPreferenc

vmstat命令詳解——linux效能分析

版本資訊： procps version 3.2.8 基本使用： vmstat [-a] [-n] [-t] [-S unit] [delay [ count]] [-a]：顯示活躍和非活躍記憶體 [-n]：只在開始時顯示一次欄位名，針對多次收集資訊的情況輸出人性化一

Android端與web端以及資料庫的建立它們之間的互動詳解與案例分析

本專案是筆者利用十天的實訓時間完成，之間掌握並學到了不少關於Android和web方面的知識，比如：json的資料交換，ListViewAdapter介面卡的使用以及網路請求web端互動的問題。趁熱打

水平集詳解與程式碼分析一

       前面我們從大體上描述了一下水平集方法的思想，實際上，各種水平集方法的區別只是在於如何構建能量函式E(C)。當構建好能量泛函E(C)之後，通過水平集的思想，將曲線C用水平集函式Φ代替，再通過求解能量泛函對應的Euler-Lagrange方程獲得水平集的演化方程。

Java 集合之 Set 詳解與原始碼分析

    Set集合與List一樣，都是繼承自Collection介面，常用的實現類有HashSet和TreeSet。值得注意的是，HashSet是通過HashMap來實現的而TreeSet是通過TreeMap來實現的，所以HashSet和TreeSet都沒有自己的資料結構，具

Dockerfile中的COPY和ADD指令詳解與比較

copy和add指令詳解與比較Dockerfile中的COPY指令和ADD指令都可以將主機上的資源復制或加入到容器鏡像中，都是在構建鏡像的過程中完成的。COPY指令和ADD指令的唯一區別在於是否支持從遠程URL獲取資源。COPY指令只能從執行docker build所在的主機上讀取資源並復制到鏡像中。而ADD

[數據庫事務與鎖]詳解三: 深入分析事務的隔離級別

不可 ans 提高 重要 不能 標準 insert lec 使用 註明: 本文轉載自http://www.hollischuang.com/archives/943 本文詳細介紹四種事務隔離級別，並通過舉例的方式說明不同的級別能解決什麽樣的讀現象。並且介紹了在關系型數據

關於U盤序列號讀取工具的詳解與分析

步驟 data size HR http set 而已 system 狀態 今天看到了一篇非常有意思的文章，個人覺得寫的屬實不錯，就拿來分享給大家一下。 原文如下： 我相信各位玩黑的朋友們都會很害怕一件事吧！那就是有一個別有用心的人把U盤插到了自己電腦上~該怎麽樣敏銳的

Servlet容器Tomcat中web.xml中url-pattern的配置詳解[附帶原始碼分析

轉載 http://www.cnblogs.com/fangjian0423/p/servletContainer-tomcat-urlPattern.html#springmvc Servlet容器Tomcat中web.xml中url-pattern的配置詳解[附帶原始碼分析 目錄 前

Linux系統中定時任務cron和crontab命令詳解與配置規則說明

cron機制         cron可以讓系統在指定的時間，去執行某個指定的工作，我們可以使用crontab指令來管理cron機制 crontab引數         -u:這個引數可以讓我們去編輯其他人的crontab，如果沒有加上這個引數的話就會開啟自己的crontab

EOS虛擬機器與智慧合約詳解與分析

EOS智慧合約和虛擬機器分析 EOS虛擬機器同經典的EVM，是EOS中執行智慧合約的容器，但是從設計上講它與EOS.IO是分離的。進 一步指令碼語言和虛擬機器的技術設計與EOS.IO分離。從巨集觀來講任何語言或者虛擬機器，只要滿足條件適 合沙盒模式執行，同時滿足一定的執行

Redis中的字串特性詳解與原始碼解讀

前言 Redis 中有五種資料型別，分別是 Str （字串）、 Hash （雜湊）、 List （列表）、 Set （集合）、 Zset （有序集合）。 這五種資料型別的實際運用與底層實現和其他語言中的資料結構的實現有所不同，底層實現是由Redis基於C語言的基

Android中ImageSwitcher詳解（注意與圖片瀏覽器的區別）

先看看繼承關係，ImageSwitcher和TextSwitcher的繼承關係是一樣的。兩個重要的父類：ViewSwitcher和ViewAnimator 繼承於ViewSwitcher，說明具備了切換功能 繼承於ViewAnimator，說明具備了動畫功能 Image