Hive整合HBase --解決版本衝突
筆者使用的是0.99.2這個版本的hbase.
第一步 : 拷貝hbase的jar包到hive
需要hbase下面的jar包到hive的lib目錄下
hbase-client-0.99.2.jar
hbase-common-0.99.2.jar
hbase-server-0.99.2.jar
hbase-common-0.99.2-tests.jar
hbase-protocol-0.99.2.jar
htrace-core-3.0.4.jar
第二步:修改配置檔案
修改hive-site.xml配置檔案
將上述jar包新增到hive-site.xml配置的hive.aux.jars.path屬性中。
<property> <name>hive.aux.jars.path</name> <value>file:///home/hadoop/apps/hive/lib/hive-hbase-handler-1.2.1.jar,file:///home/hadoop/apps/hive/lib/zookeeper-3.4.6.jar,file:///home/hadoop/apps/hive/lib/hbase-client-0.99.2.jar,file:///home/hadoop/apps/hive/lib/hbase-common-0.99.2.jar,file:///home/hadoop/apps/hive/lib/hbase-server-0.99.2.jar,file:///home/hadoop/apps/hive/lib/hbase-common-0.99.2-tests.jar,file:///home/hadoop/apps/hive/lib/hbase-protocol-0.99.2.jar,file:///home/hadoop/apps/hive/lib/htrace-core-3.0.4.jar</value> </property>
修改hive.zookeeper.quorum屬性
新增hbase.zookeeper.quorum屬性,此屬性hive-site.xml之前不存在。
新增自己的zookeeper節點
筆者是單機版本的,沒有寫這個屬性,也沒有報錯。
hive-env.sh配置檔案
複製一份hive-env.sh.template 改名為hive-env.sh
修改hive-env.sh配置檔案
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export HBASE_HOME=/home/hadoop/apps/hbase
啟動hive之前,先啟動hadoop,跟hbase,
然後啟動hive
bin/hive
bin/start-hbase
bin/hbase shell
進入hive:
隨便使用一個庫,建議不要使用default這個庫,測試下面的這條語句看一下能否正常執行:
create table hive_hbase_test(key int,value string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:val") tblproperties("hbase.table.name"="hive_hbase_test");
如果執行沒有報錯,能正常建立這張表,並且進去到hbase裡面:
這張表也建立成功,那麼Hive跟HBase的整合就成功了。
但是根本不是這樣,期間會報錯:
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V
這種錯就是由於Hive跟HBase的版本不相容的錯。
可以看下面這篇部落格,博主如何做的,我照著錯,能解決相容問題:
https://www.cppentry.com/bencandy.php?fid=117&id=181504
我已經編譯好了一份,可以直接使用:
https://pan.baidu.com/s/1Heil1vchKIazRCGSagZvCQ
筆者參考的部落格:
https://blog.csdn.net/dajiangtai007/article/details/79696853
https://blog.csdn.net/ddxygq/article/details/81709877
https://www.cnblogs.com/zlslch/p/8228781.html