2. 程式人生 > >大數據學習系列之五 ----- Hive整合HBase圖文詳解

大數據學習系列之五 ----- Hive整合HBase圖文詳解

阿新 • • 發佈：2017-12-19
scala direct ont 增加 pac hadoop2 exe dfs- min

引言

在上一篇 大數據學習系列之四 ----- Hadoop+Hive環境搭建圖文詳解(單機) 和之前的大數據學習系列之二 ----- HBase環境搭建(單機) 中成功搭建了Hive和HBase的環境，並進行了相應的測試。本文主要講的是如何將Hive和HBase進行整合。

Hive和HBase的通信意圖

Hive與HBase整合的實現是利用兩者本身對外的API接口互相通信來完成的，其具體工作交由Hive的lib目錄中的hive-hbase-handler-*.jar工具類來實現，通信原理如下圖所示。
技術分享圖片

Hive整合HBase後的使用場景：

（一）通過Hive把數據加載到HBase中，數據源可以是文件也可以是Hive中的表。
（二）通過整合，讓HBase支持JOIN、GROUP等SQL查詢語法。
（三）通過整合，不僅可完成HBase的數據實時查詢，也可以使用Hive查詢HBase中的數據完成復雜的數據分析。

一、環境選擇

1，服務器選擇

本地虛擬機
操作系統:linux CentOS 7
Cpu：2核
內存：2G
硬盤:40G

2，配置選擇

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive： 2.1 (apache-hive-2.1.1-bin.tar.gz)
HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)

3，下載地址

官網地址
JDK：
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/
HBase:
http://mirror.bit.edu.cn/apache/hbase/

百度雲盤
鏈接：https://pan.baidu.com/s/1jIemIDC 密碼：uycu

二、服務器的相關配置

在配置Hadoop+Hive+HBase之前，應該先做一下配置。
做這些配置為了方便，使用root權限。

1，更改主機名

首先更改主機名，目的是為了方便管理。
輸入:

hostname

查看本機的名稱
然後更改主機名為master
輸入:

hostnamectl set-hostname master

註:主機名稱更改之後，要重啟(reboot)才會生效。

2，做IP和主機名的映射

修改hosts文件，做關系映射
輸入

vim /etc/hosts

添加
主機的ip 和 主機名稱

192.168.238.128 master

3，關閉防火墻

關閉防火墻，方便訪問。
CentOS 7版本以下輸入:
關閉防火墻

service   iptables stop

CentOS 7 以上的版本輸入：

systemctl stop firewalld.service

4，時間設置

查看當前時間
輸入:

date

查看服務器時間是否一致，若不一致則更改
更改時間命令

date -s ‘MMDDhhmmYYYY.ss’

5，整體的環境配置

/etc/profile 的整體配置

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# Scala Config
export SCALA_HOME=/opt/scala/scala-2.12.2


# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive

# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4

# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2

# Hadoop Config 
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

技術分享圖片

註:具體的配置以自己的為準，沒有的不用配置。

三、Hadoop的環境配置

Hadoop的具體配置在大數據學習系列之一 ----- Hadoop環境搭建(單機) 中介紹得很詳細了。所以本文就大體介紹一下。
註:具體配置以自己的為準。

1，環境變量設置

編輯 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2，配置文件更改

先切換到 /home/hadoop/hadoop2.8/etc/hadoop/ 目錄下

3.2.1 修改 core-site.xml

輸入:

vim core-site.xml

在

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.2修改 hadoop-env.sh

輸入:

vim hadoop-env.sh

將${JAVA_HOME} 修改為自己的JDK路徑

export   JAVA_HOME=${JAVA_HOME}

修改為：

export   JAVA_HOME=/home/java/jdk1.8

3.2.3修改 hdfs-site.xml

輸入:

vim hdfs-site.xml

在

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.4 修改mapred-site.xml

如果沒有 mapred-site.xml 該文件，就復制mapred-site.xml.template文件並重命名為mapred-site.xml。
輸入:

vim mapred-site.xml

修改這個新建的mapred-site.xml文件，在

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3，Hadoop啟動

啟動之前需要先格式化
切換到/home/hadoop/hadoop2.8/bin目錄下
輸入:

./hadoop  namenode  -format

格式化成功後，再切換到/home/hadoop/hadoop2.8/sbin目錄下
啟動hdfs和yarn
輸入:

start-dfs.sh
start-yarn.sh

啟動成功後，輸入jsp查看是否啟動成功
在瀏覽器輸入 ip+8088 和ip +50070 界面查看是否能訪問
能正確訪問則啟動成功

四、Hive的環境配置

Hive環境的具體配置在我的這篇大數據學習系列之四 ----- Hadoop+Hive環境搭建圖文詳解(單機) 以及介紹得很詳細了。本篇就大概介紹下。

修改hive-site.xml

切換到 /opt/hive/hive2.1/conf 目錄下
將hive-default.xml.template 拷貝一份，並重命名為hive-site.xml
然後編輯hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

編輯hive-site.xml文件，在 

<!-- 指定HDFS中的hive倉庫地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 該屬性為空表示嵌入模式或本地模式，否則為遠程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的連接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驅動類 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用戶名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密碼 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

然後將配置文件中所有的

${system:java.io.tmpdir}

更改為 /opt/hive/tmp (如果沒有該文件則創建)，
並將此文件夾賦予讀寫權限，將
${system:user.name}
更改為 root

例如:
更改之前的:
技術分享圖片
更改之後:
技術分享圖片

配置圖:
技術分享圖片

註: 由於hive-site.xml 文件中的配置過多，可以通過FTP將它下載下來進行編輯。也可以直接配置自己所需的，其他的可以刪除。 MySQL的連接地址中的master是主機的別名，可以換成ip。

修改 hive-env.sh

修改hive-env.sh 文件，沒有就復制 hive-env.sh.template ，並重命名為hive-env.sh

在這個配置文件中添加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

添加 數據驅動包

由於Hive 默認自帶的數據庫是使用mysql，所以這塊就是用mysql
將mysql 的驅動包 上傳到 /opt/hive/hive2.1/lib

五、HBase的環境配置

HBase環境的具體配置在我的這篇大數據學習系列之二 ----- HBase環境搭建(單機) 以及介紹得很詳細了。本篇就大概介紹下。

修改 hbase-env.sh

編輯 hbase-env.sh 文件，添加以下配置

export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HBASE_HOME=/opt/hbase/hbase1.2
export HBASE_CLASSPATH=/opt/hadoop/hadoop2.8/etc/hadoop
export HBASE_PID_DIR=/root/hbase/pids
export HBASE_MANAGES_ZK=false

說明:配置的路徑以自己的為準。HBASE_MANAGES_ZK=false 是不啟用HBase自帶的Zookeeper集群。

修改 hbase-site.xml

編輯hbase-site.xml 文件，在

<!-- 存儲目錄 -->
<property>  
 <name>hbase.rootdir</name>  
 <value>hdfs://test1:9000/hbase</value>  
 <description>The directory shared byregion servers.</description>  
</property>  
<!-- hbase的端口 -->
<property>  
 <name>hbase.zookeeper.property.clientPort</name>  
 <value>2181</value>  
 <description>Property from ZooKeeper‘sconfig zoo.cfg. The port at which the clients will connect.  
 </description>  
</property>  
<!--  超時時間 -->
<property>  
 <name>zookeeper.session.timeout</name>  
 <value>120000</value>  
</property>  
<!--  zookeeper 集群配置。如果是集群，則添加其它的主機地址 -->
<property>  
 <name>hbase.zookeeper.quorum</name>  
 <value>test1</value>  
</property>  
<property>  
 <name>hbase.tmp.dir</name>  
 <value>/root/hbase/tmp</value>  
</property>  
<!-- false是單機模式，true是分布式模式  -->
<property>  
 <name>hbase.cluster.distributed</name>  
 <value>false</value>  
</property>

說明:hbase.rootdir：這個目錄是region server的共享目錄，用來持久化Hbase 。hbase.cluster.distributed ：Hbase的運行模式。false是單機模式，true是分布式模式。若為false,Hbase和Zookeeper會運行在同一個JVM裏面。

六、Hive整合HBase的環境配置以及測試

1，環境配置

因為Hive與HBase整合的實現是利用兩者本身對外的API接口互相通信來完成的，其具體工作交由Hive的lib目錄中的hive-hbase-handler-.jar工具類來實現。所以只需要將hive的 hive-hbase-handler-.jar 復制到hbase/lib中就可以了。
切換到hive/lib目錄下
輸入:

cp hive-hbase-handler-*.jar /opt/hbase/hbase1.2/lib

技術分享圖片
註: 如果在hive整合hbase中，出現版本之類的問題，那麽以hbase的版本為主，將hbase中的jar包覆蓋hive的jar包。

2，hive和hbase測試

在進行測試的時候，確保hadoop、hbase、hive環境已經成功搭建好，並且都成功啟動了。
打開xshell的兩個命令窗口
一個進入hive，一個進入hbase

6.2.1在hive中創建映射hbase的表

在hive中創建一個映射hbase的表，為了方便，設置兩邊的表名都為t_student，存儲的表也是這個。
在hive中輸入:

create table t_student(id int,name string) stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘ with serdeproperties("hbase.columns.mapping"=":key,st1:name") tblproperties("hbase.table.name"="t_student","hbase.mapred.output.outputtable" = "t_student");

說明：第一個t_student 是hive表中的名稱，第二個t_student是定義在hbase的table名稱 ，第三個t_student 是存儲數據表的名稱("hbase.mapred.output.outputtable" = "t_student"這個可以不要，表數據就存儲在第二個表中了) 。
(id int,name string) 這個是hive表結構。如果要增加字段，就以這種格式增加。如果要增加字段的註釋，那麽在字段後面添加comment ‘你要描述的’。
例如:
create table t_student(id int comment ‘StudentId’,name string comment ‘StudentName’)
org.apache.hadoop.hive.hbase.HBaseStorageHandler 這個是指定的存儲器。
hbase.columns.mapping 是定義在hbase的列族。
例如:st1就是列族，name就是列。在hive中創建表t_student，這個表包括兩個字段（int型的id和string型的name）。 映射為hbase中的表t_student，key對應hbase的rowkey，value對應hbase的st1:name列。

表成功創建之後
在hive、hbase分別中查看表和表結構
hive中輸入

show tables；
describe t_student;

hbase輸入:

list
describe ‘t_student’

技術分享圖片

技術分享圖片
可以看到表已經成功的創建了

6.2.2數據同步測試

進入hbase之後
在t_student中添加兩條數據 然後查詢該表

put ‘t_student‘,‘1001‘,‘st1:name‘,‘zhangsan‘
put ‘t_student‘,‘1002‘,‘st1:name‘,‘lisi‘
scan ‘t_student‘

技術分享圖片

然後切換到hive中
查詢該表
輸入:

select * from t_student;

技術分享圖片

然後在hive中刪除該表
註:因為做測試要看結果，所以將表刪除了。如果同學們要做測試的話，是沒有必要刪除該表的，因為在後面還會使用該表。

然後查看hive和hbase中的表是否刪除了
輸入:

drop table t_student;

技術分享圖片

技術分享圖片
通過這些可以看到hive和hbase之間的數據成功同步！

6.2.3關聯查詢測試

hive外部表測試

先在hbase中建一張t_student_info表，添加兩個列族
然後查看表結構
輸入:

create ‘t_student_info‘,‘st1‘,‘st2‘
describe ‘t_student_info‘

技術分享圖片

然後在hive中創建外部表
說明:創建外部表要使用EXTERNAL 關鍵字
輸入:

create external table t_student_info(id int,age int,sex string) stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘ with serdeproperties("hbase.columns.mapping"=":key,st1:age,st2:sex") tblproperties("hbase.table.name"="t_student_info");

技術分享圖片

然後在t_student_info 中添加數據

put ‘t_student_info‘,‘1001‘,‘st2:sex‘,‘man‘
put ‘t_student_info‘,‘1001‘,‘st1:age‘,‘20‘
put ‘t_student_info‘,‘1002‘,‘st1:age‘,‘18‘
put ‘t_student_info‘,‘1002‘,‘st2:sex‘,‘woman‘

技術分享圖片

然後在hive中查詢該表
輸入:

select * from t_student_info;

技術分享圖片

查詢到數據之後，然後將t_student 和t_student_info進行關聯查詢。
輸入:

select * from t_student t join t_student ti where t.id=ti.id ;

技術分享圖片
說明:通過關聯查詢，可以得出表之間是可以關聯查詢的。但是明顯看到hive 使用默認的mapreduce 作為引擎是多麽的慢。。。

其他說明:
由於自己的虛擬機配置實在太渣，即使調大reduce內存，限制每個reduce處理的數據量，還是不行，最後沒辦法使用公司的測試服務進行測試。
在查詢一張表的時候，hive沒有使用引擎，因此相對比較快，如果是進行了關聯查詢之類的，就會使用引擎，由於hive默認的引擎是mr，所以會很慢，也和配置有一定關系，hive2.x以後官方就不建議使用mr了。

本文到此結束，謝謝閱讀！
版權聲明:
作者：虛無境
博客園出處：http://www.cnblogs.com/xuwujing
CSDN出處：http://blog.csdn.net/qazwsxpcm　　　　
個人博客出處：http://www.panchengming.com
原創不易，轉載請標明出處，謝謝！

大數據學習系列之五 ----- Hive整合HBase圖文詳解

相關推薦

大數據學習系列之五 ----- Hive整合HBase圖文詳解

scala direct ont 增加 pac hadoop2 exe dfs- min 引言 在上一篇 大數據學習系列之四 ----- Hadoop+Hive環境搭建圖文詳解(單機) 和之前的大數據學習系列之二 ----- HBase環境搭建(單機) 中成功搭建了Hive

大數據學習系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集

pat 修改配置文件 防止 聲明 mir rac detail jre_home true 引言 在之前的大數據學習系列中，搭建了Hadoop+Spark+HBase+Hive 環境以及一些測試。其實要說的話，我開始學習大數據的時候，搭建的就是集群，並不是單機模式和

大數據學習系列之三 ----- HBase Java Api 圖文詳解

工具 itl 進行 圖片 置配 動態數據 sync ase tac 引言 在上一篇中大數據學習系列之二 ----- HBase環境搭建(單機) 中，成功搭建了Hadoop+HBase的環境，本文則主要講述使用Java 對HBase的一些操作。 一、事前準備 1.確認hado

大數據學習系列之六 ----- Hadoop+Spark環境搭建

csdn jdk sts htm ps命令 sta cnblogs 環境變量設置 lib 引言 在上一篇中 大數據學習系列之五 ----- Hive整合HBase圖文詳解 ： http://www.panchengming.com/2017/12/18/pancm62/

TortoiseGit學習系列之Windows上TortoiseGit的安裝詳解（圖文）

錯誤 http 用戶名 dev 9.png 安裝包 本地 信息 克隆 TortoiseGit的安裝準備 首先你得安裝windows下的msysgit。 安裝版本控制器客戶端TortoiseGit [不習慣英文的朋友，也可以下個語言包]。 　　下載地址:https

SpringCloud學習系列之四-----配置中心(Config)使用詳解

前言 本篇主要介紹的是SpringCloud中的分散式配置中心(SpringCloud Config)的相關使用教程。 Sprin

R語言數據分析系列之五

r語 來看 tab barplot code 繪制 ber map lib R語言數據分析系列之五 —— by comaple.zhang 本節來討論一下R語言的基本圖形展示,先來看一張效果圖吧。 這是一張用R語言生成的，虛擬的wordcloud雲圖，詳細

大數據學習（8）Hive基礎

fall nat value onf change expected role blog tab 什麽是Hive Hive是一個基於HDFS的查詢引擎。我們日常中的需求如果都自己去寫MapReduce來實現的話會很費勁的，Hive把日常用到的MapReduce功能，比如排序

大數據學習系列（4）-- shell編程

blank tro itl gpo .cn lan 學習 nbsp 系列 http://wiki.ubuntu.org.cn/Shell%E7%BC%96%E7%A8%8B%E5%9F%BA%E7%A1%80#Shell.E9.87.8C.E7.9A.84.E6.B5.

大數據學習系列（5）-- 局域網yum倉庫搭建

http 數據 str htm bsp ron lan class tle https://www.cnblogs.com/nulige/p/6081192.html 大數據學習系列（5）-- 局域網yum倉庫搭建

大資料學習系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive叢集搭建 圖文詳解

引言 在之前的大資料學習系列中，搭建了Hadoop+Spark+HBase+Hive 環境以及一些測試。其實要說的話，我開始學習大資料的時候，搭建的就是叢集，並不是單機模式和偽分散式。至於為什麼先寫單機的搭建，是因為作為個人學習的話，單機已足以，好吧，

Reinforcement Learning強化學習系列之五：值近似方法Value Approximation

引言 前面說到了強化學習中的蒙特卡洛方法(MC)以及時序差分(TD)的方法，這些方法針對的基本是離散的資料，而一些連續的狀態則很難表示，對於這種情況，通常在強化學習裡有2中方法，一種是針對value function的方法，也就是本文中提到的值近似(value

SpringCloud學習系列之五-----配置中心(Config)和消息總線(Bus)完美使用版

eid 暴露 mar amqp 例如 username 文件 選擇 介紹 前言 在上篇中介紹了SpringCloud Config的使用，本篇則介紹基於SpringCloud(基於SpringBoot2.x,.SpringCloud Finchley版)中的分布式配置中心(

SpringCloud學習系列之五-----配置中心(Config)和訊息匯流排(Bus)完美使用版

前言 在上篇中介紹了SpringCloud Config的使用，本篇則介紹基於SpringCloud(基於SpringBoot2.

Vue入門系列（五）Vue實例詳解與生命周期

auto res context mode parent all from bool silent 【入門系列】 【本文轉自】 　　http://www.cnblogs.com/fly_dragon Vue的實例是Vue框架的入口，其實也就是前端的ViewM

SpringMVC 框架系列之組件概述與配置詳解

align 概述 handle ont htm 配置文件 掃描器 springmvc 解析 在上一篇文章 SpringMVC 框架系列之初識與入門實例 的實例中，我們已經知道，SpringMVC 框架是一個 web 層的框架，本篇文章就詳細解釋一下 SpringMVC 框架

IP地址和子網劃分學習筆記之《超網合並詳解》

超網 IP合並 CIDR IP地址 子網掩碼 一、超網的概念 超網(Supernetting)是與子網類似的概念，IP地址根據子網掩碼被分為獨立的網絡地址和主機地址。超網，也稱無類別域間路由選擇（CIDR），它是集合多個同類互聯網地址的一種方法。 與子網劃分（把大網絡分成若幹小網絡）相反，

RxJava之五—— observeOn()與subscribeOn()的詳解

你也可以檢視我的其他同類文章，也會讓你有一定的收貨！ 為什麼多次呼叫subscribeOn()卻只有第一個起作用？ 為什麼多次呼叫observeOn()卻可以切換到不同執行緒 observeOn()後能不能再次呼叫subscribeOn()？ 如

RxJava之五—— observeOn 與subscribeOn 的詳解

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

【Java基礎之五】Java中IO詳解

1.Java IO簡介 可能學過計算機組裝與維修的同學都知道I/O裝置，翻譯過來也就是Input/Output（輸入輸出裝置），在硬體中鍵盤、滑鼠 屬於 輸入裝置，顯示器、印表機等屬於輸出裝置，這裡輸入輸出參考物是計算機本身。 java.io包從巨集觀上來