快速查詢hive資料倉庫表中的總條數
阿新 • • 發佈：2019-02-18
Author： kwu
快速查詢hive資料倉庫中的條數，在查詢hive表的條數，通常使用count(*)，但是資料量大的時候，mr跑count(*)往往需要幾分鐘的時間。
1、傳統方式獲得總條數如下：
- selectcount(*) from ods.tracklog;
執行時間為91.208s
2、與關係庫一樣hive表也可以通過查詢元資料來得到總條數：
- select d.NAME,t.TBL_NAME,t.TBL_ID,p.PART_ID,p.PART_NAME,a.PARAM_VALUE
- from TBLS t
- leftjoin DBS d
- on t.DB_ID = d.DB_ID
- leftjoin PARTITIONS p
- on t.TBL_ID = p.TBL_ID
- leftjoin PARTITION_PARAMS a
- on p.PART_ID=a.PART_ID
- where t.TBL_NAME='tracklog'and d.NAME='ods'and a.PARAM_KEY='numRows';
- select FORMAT(sum(a.PARAM_VALUE),0)
- from TBLS t
- leftjoin DBS d
- on t.DB_ID = d.DB_ID
- leftjoin PARTITIONS p
- on t.TBL_ID = p.TBL_ID
- leftjoin PARTITION_PARAMS a
- on p.PART_ID=a.PART_ID
- where t.TBL_NAME='tracklog'and d.NAME='ods'and a.PARAM_KEY='numRows';
只需0.071s即可返回
3、說明通過hive元資料的查詢總條數，只適用於有partition的表，我們正式表基本都是有partition的，只有部分小表，小於1萬條的沒有partition，這種小表count(*)是非常快的。