2. 程式人生 > >Hive內部表、外部表、分割槽表以及外部分割槽表建立以及匯入資料例項講解

Hive內部表、外部表、分割槽表以及外部分割槽表建立以及匯入資料例項講解

阿新 • • 發佈：2018-11-01

源資料格式：

[[email protected]144113 zhang_dd_edw]$ more data.txt
25502#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-15
25499#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-16
25519#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-17
25538#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-18
 

25555#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-19
25605#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-21

1. 內部表的建立以及資料的匯入（重點：無論是內部表還是外部表，資料最終都會被移動到所使用的location下面，如果沒有指定，就預設移動到hive-site.xml中配置的location）
建立表的語句：

create table  10k_cold_data_inner_table(
    size string comment '冷資料大小'
 
,
    path string comment '冷資料路徑'
)
row format delimited 
fields terminated by '#';

資料的匯入：

hive> load data local inpath '/home/dd_edw/zhang_dd_edw/data.txt' into table 10k_cold_data_inner_table  ;
Loading data to table bdm.10k_cold_data_inner_table
Table bdm.10k_cold_data_inner_table stats: [numFiles=
 
1, totalSize=474]
OK
Time taken: 0.725 seconds

資料的查詢：

hive> select *
    > from 10k_cold_data_inner_table;
OK
25502   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-15
25499   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-16
25519   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-17
25538   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-18
25555   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-19
25605   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-21
Time taken: 0.27 seconds, Fetched: 6 row(s)

2、外部表的建立以及資料的匯入
外部表的建立：

create external table  10k_cold_data_external_table(
    size string comment '冷資料大小',
    path string comment '冷資料路徑'
)
row format delimited
fields terminated by '#';

匯入資料：

hive> load data local inpath '/home/dd_edw/zhang_dd_edw/data.txt' into table 10k_cold_data_external_table  ;
Loading data to table bdm.10k_cold_data_external_table
Table bdm.10k_cold_data_external_table stats: [numFiles=1, totalSize=474]
OK
Time taken: 0.622 seconds

資料檢視：

hive> select *
    > from 10k_cold_data_external_table;
OK
25502   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-15
25499   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-16
25519   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-17
25538   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-18
25555   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-19
25605   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-21
Time taken: 0.265 seconds, Fetched: 6 row(s)

在Hive當中，對於外部表來說，我們在刪除表資料的時候，刪除的僅僅是表的元資料資訊，但是卻不能刪除掉表中的真實資料。
接下來我們測試一下：

hive> dfs -ls hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table;
Found 1 items
-rwxr-xr-x   3 dd_edw dd_edw        474 2018-01-08 13:04 hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table/data.txt
hive> drop table 10k_cold_data_external_table;
OK
Time taken: 0.152 seconds
hive> dfs -ls hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table;
Found 1 items
-rwxr-xr-x   3 dd_edw dd_edw        474 2018-01-08 13:04 hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table/data.txt

當然，對於外部表來說，我們還有很多玩法，如下：
源資料路徑：

[[email protected]144113 zhang_dd_edw]$ hadoop fs -cat hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table/data.txt
25502#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-15
25499#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-16
25519#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-17
25538#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-18
25555#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-19
25605#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-21

建立外部表：直接去關聯這個HDFS路徑

create external table  10k_cold_data_external_table_2(
    size string comment '冷資料大小',
    path string comment '冷資料路徑'
)
row format delimited
fields terminated by '#'
location 'hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table';

檢視資料：

hive> select *
    > from 10k_cold_data_external_table_2;
OK
25502   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-15
25499   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-16
25519   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-17
25538   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-18
25555   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-19
25605   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-21
Time taken: 0.085 seconds, Fetched: 6 row(s)

當然，我們在這裡面再次刪除表的元資料資訊，發現在HDFS中的真實資料還是存在：

hive> dfs -ls hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table;
Found 1 items
-rwxr-xr-x   3 dd_edw dd_edw        474 2018-01-08 13:04 hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table/data.txt
hive> drop table 10k_cold_data_external_table_2;
OK
Time taken: 0.068 seconds
hive> dfs -ls hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table;
Found 1 items
-rwxr-xr-x   3 dd_edw dd_edw        474 2018-01-08 13:04 hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table/data.txt

接下來我們在換一種玩法：（在這裡我們要弄懂一件事情：什麼時候回移動資料，什麼時候不會移動資料==>如果建表的時候指定了location，則不會移動，如果不指定，則向預設的HDFS路徑下面移動資料），對於下面的建表方式就會產生移動資料。
第一：我們先檢視源資料的路徑：

hive> dfs -ls hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table ;
Found 1 items
-rwxr-xr-x   3 dd_edw dd_edw        474 2018-01-08 13:04 hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table/data.txt
hive> dfs -cat hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table/data.txt;
25502#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-15
25499#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-16
25519#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-17
25538#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-18
25555#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-19
25605#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-21

第二：我們建立一個外部表

hive> create external table  10k_cold_data_external_table_2(    size string comment '冷資料大小',    path string comment '冷資料路徑')
    > row format delimited
    > fields terminated by '#';
OK
Time taken: 0.054 seconds

第三：我們向這個表當中匯入資料

hive> load data inpath 'hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table' into table 10k_cold_data_external_table_2;
Loading data to table bdm.10k_cold_data_external_table_2
Table bdm.10k_cold_data_external_table_2 stats: [numFiles=1, totalSize=474]
OK
Time taken: 0.297 seconds

第四：檢視資料

hive> select *
    > from 10k_cold_data_external_table_2;
OK
25502   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-15
25499   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-16
25519   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-17
25538   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-18
25555   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-19
25605   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-21
Time taken: 0.125 seconds, Fetched: 6 row(s)
hive> dfs -ls hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table;
hive> dfs -ls hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table_2 ;
Found 1 items
-rwxr-xr-x   3 dd_edw dd_edw        474 2018-01-08 13:04 hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_table_2/data.txt

很明顯，資料已經被移動過來了。
總結一下：無論內部表還是外部表，只要load data，資料都會被移動到表的location下面，（之前書中介紹的我感覺指的是一般人在建表的時候沒人指定location，刪除內部表的時候，表所關聯的資料夾和資料都會別刪除）。

3、外部分割槽表的建立以及匯入資料
這裡是重點。
首先我們先建立一個外部表：

create external table 10k_cold_data_external_partitions(
    size string comment '冷資料大小',
    path string comment '冷資料路徑'
)
partitioned by(dt string) 
row format delimited 
fields terminated by '#';

當我們在這個目錄下面建立dt=2018-01-08這個目錄之後，我們去檢視一下表的分割槽資訊：

hive> dfs -ls hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_partitions ;
Found 1 items
drwxr-xr-x   - dd_edw dd_edw          0 2018-01-08 15:16 hdfs://ns2/user/dd_edw/warehouse/bdm/10k_cold_data_external_partitions/dt=2018-01-08
hive> show partitions 10k_cold_data_external_partitions;
OK
Time taken: 0.048 seconds

呵呵，沒有，你知道這是為什麼嗎？這是因為雖然在HDFS當中資料已經存在了，但是在Hive的元資料倉庫中並沒有，所以我們查不到資料。
接下來我們新增相應的分割槽：

hive> alter table 10k_cold_data_external_partitions add partition(dt='2018-01-08');
OK
Time taken: 0.078 seconds
hive> show partitions 10k_cold_data_external_partitions;
OK
dt=2018-01-08
Time taken: 0.064 seconds, Fetched: 1 row(s)
hive> select *
    > from 10k_cold_data_external_partitions;
OK
25502   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-15        2018-01-08
25499   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-16        2018-01-08
25519   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-17        2018-01-08
25538   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-18        2018-01-08
25555   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-19        2018-01-08
25605   hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-21        2018-01-08
Time taken: 0.08 seconds, Fetched: 6 row(s)

但是問題來了，如果有100個分割槽呢？難道也需要手動加100個分割槽嗎?
這裡有一個簡單的命令操作：msck repair table table_name 即可。
關於更多細節：大家可以參考這個：http://blog.csdn.net/opensure/article/details/51323220
OK，外部分割槽表真的很重要，刷分割槽也很重要。

相關推薦

Hive內部表、外部表、分割槽表以及外部分割槽表建立以及匯入資料例項講解

源資料格式： [[email protected]144113 zhang_dd_edw]$ more data.txt 25502#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-

一起學Hive——建立內部表、外部表、分割槽表和分桶表及匯入資料

Hive本身並不儲存資料，而是將資料儲存在Hadoop的HDFS中，表名對應HDFS中的目錄/檔案。根據資料的不同儲存方式，將Hive表分為外部表、內部表、分割槽表和分桶表四種資料模型。每種資料模型各有優缺點。通過create user命令建立user表時，會在HDFS中生成一個user目錄/檔案。 外部表

Hive內部表、外部表、分割槽表介紹

1.內部表： hive>create table tt (name string , age string); //此時會在hdfs的/user/hive/warehouse/目錄下新建一個tt表的資料存放地 hive>load data inpath '/input/data' into tab

Linux中 別名、內部命令、外部命令、hash緩存表 系統調用時的優先級比較

別名、內部命令、外部命令、hash緩存表 Linux系統中別名、內部命令、外部命令、hash緩存表 優先級優先級比較 在我們平時使用Linux系統執行各種命令時，會發現命令在執行過程中會區分哪個優先執行，哪個其次執行，這裏我們來做個試驗證明一下。 別名：用a

Hive表的增刪改、混合操作

增 Hive表增加資料有兩種方式（目前我知道的），分別為load及傳統意義上的insert。 通過load載入資料 命令格式 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TA

Hive 內部表 與 外部表

Hive中的表又分為內部表和外部表 ,Hive 中的每張表對應於HDFS上的一個資料夾，HDFS目錄為：/user/hadoop/hive/warehouse/[databasename.db]/table 內部表 建立語句 這裡我們採用從之前表中複製表結構和資料 creat

Hive面試題：Hive 內部表和外部表的區別

建立外部表多了external關鍵字說明以及location path. Hive中表與外部表的區別： 1、在匯入資料到外部表，資料並沒有移動到自己的資料倉庫目錄下，也就是說外部表中的資料並不是由它自己來管理的！而表則不一樣； 2、在刪除表的時候，Hive將會把屬於表的元資料和資料全

Hive基本操作，DDL操作(建立表，修改表，顯示命令)，DML操作(Load Insert Select),Hive Join,Hive Shell引數(內建運算子、內建函式)等

1.  Hive基本操作 1.1  DDL操作1.1.1    建立表 建表語法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name    

Hive內部表和外部表

官網解釋： Managed and External Tables By default Hive creates managed tables, where files, metadata and statistics are managed by internal Hive process

hive內部表&外部表介紹

未被external修飾的是內部表（managed table），被external修飾的為外部表（external table）；區別：內部表資料由Hive自身管理，外部表資料由HDFS管理；內部表資料儲存的位置是hive.metastore.warehouse.dir（預設：/user/hive/ware

SQL Server基礎(二)資料庫物件：表、檢視、同義詞、可程式設計性、外部資源、Service Broker、儲存、安全性 分別表示什麼意思

一、簡介        其幾天弄了個數據表，知道了資料表大概是怎麼回事。今天打算學習學習資料庫的儲存過程，於是發現， 儲存過程只是資料庫物件的一部分。我這個人比較喜歡從全域性認識一個事物，索性我就把資料物件全部羅列出來。 二、資料庫物件

hive內部表,外部表區別

內部表，就是一般的表，前面講到的表都是內布標，當表定義被刪除的時候，表中的資料隨之一併被刪除。 外部表，資料存在與否和表的定義互不約束，僅僅只是表對hdfs上相應檔案的一個引用，當刪除表定義的時候，表中的資料依然存在。 建立外部表，external是外部表的關鍵

Hive內部表與外部表(外部表使用場景)

官網解釋 Managed and External Tables By default Hive creates managed tables, where files, metadata and statistics are managed by inter

Hive內部表與外部表

一、在Hive中建立表時，無external修飾的是內部表（managed table），有external修飾的是外部表（external table）： 1、內部表的資料是Hive自身管理，外部表資

Hive內部表與外部表區別，資料匯入與資料讀取方式小結

建立一個外部表： 使用'|'作為分隔符，‘\n’回車作為換行符，指定資料倉庫地址 hive> CREATE EXTERNAL TABLE rdcuser ( > id int, > name string, > passwo

資料庫表設計、 資料庫分層、myslq水平拆分、oracle表分割槽

資料庫表設計 資料庫表結構設計方法及原則（li） 　　資料庫設計的三大正規化：為了建立冗餘較小、結構合理的資料庫，設計資料庫時必須遵循一定的規則。在關係型資料庫中這種規則就稱為正規化。正規化是符合某一種設計要求的總結。要想設計一個結構合理的關係型資料庫，必須滿足一定的正規化。 　　在實際開發中

hive內部表，修改分割槽名字

1,建立一個分割槽表 CREATE TABLE `stg.stu`(   `id` string COMMENT '使用者唯一識別ID',    `name` string COMMENT '名字') COMMENT '學生資訊' PARTITIONED BY (    `

hive內部分割槽表(ORC格式)新增欄位後出現的問題

hive內部分割槽表(ORC格式)在新增欄位後出現的問題：1、在新增欄位後的分割槽內查詢資料正常2、在新增欄位前的分割槽內查詢資料異常3、分割槽刪不掉，一直卡著不動出現原因：當我們修改hive表結構以後，mysql中元資料庫中的SDS中該hive表對應的CD_ID會改變，但是

hive內部表和外部表的區別

內部表：    1：內部表也稱為MANAGED_TABLE    2：內部表預設儲存在/user/hive/warehouse下面    3：（1）從hdfs往內部表載入資料：load data in

[HTML]表單控件、iframe、datails、meter、time、fieldset、mark

單選 spa 多行 普通 -html tag sel legend doctype 一、表單元素 1.input：空標記 屬性： type:文本框、密碼框、單選按鈕、復選框 value:當前表單元素的值，可以是提交給服務器的值，也可以是默認顯示的初始值 name:名稱，要提