2. 程式人生 > >hive啟動MetaStore報錯解決方案

hive啟動MetaStore報錯解決方案

阿新 • • 發佈：2019-01-05

今天在自己的虛擬機器上安裝apache-hive-3.1.1時啟動hive時出現了很多錯誤，經過不斷的資料查詢及測試最終可以正常運行了，特記錄下，加深自己的印象分享給大家，也以便以後出現同樣的錯誤時可以檢視筆記解決。

第一條錯誤：

MetaException(message:Error creating transactional connection factory)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:84)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:93)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:8661)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:8656)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:8926)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:8843)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: MetaException(message:Error creating transactional connection factory)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invokeInternal(RetryingHMSHandler.java:208)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invoke(RetryingHMSHandler.java:108)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:80)
	... 11 more

原因：${HIVE_HOME}/lib目錄下沒有找到mysql-connector的jar包，因為我配置的源資料是MySQL資料庫，然後把mysql-connector-java-5.1.27-bin.jar下載放到${HIVE_HOME}/lib目錄下再次啟動。發現報錯如下：

MetaException(message:Hive Schema version 3.1.0 does not match metastore's schema version 1.2.0 Metastore is not upgraded or corrupt)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:84)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:93)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:8661)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:8656)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:8926)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:8843)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

原因：MySQL中的MetaStore資料庫中儲存的源資料版本和現在用的hive版本不匹配（我以前安裝了apache-hive-1.2.1版本，然後配置檔案拷貝以前的，忘記改hive-site.xml配置檔案中javax.jdo.option.ConnectionURL屬性的值，此屬性是指定MetaStore連線地址及資料庫的，將其設定成MySQL的連線地址及指定資料庫就OK）

如果你只有一個hive版本，可以有以下兩種解決方案：
1.登陸mysql，修改hive metastore版本：

進行mysql：mysql -uroot -p 123456
use hive; -- 配置檔案中javax.jdo.option.ConnectionURL屬性值指定的資料庫名稱
 

select * from version;
update VERSION set SCHEMA_VERSION='3.1.1' where  VER_ID=1;

2.簡單粗暴：在hvie-site.xml中關閉版本驗證

<property>
	<name>hive.metastore.schema.verification</name>
	<value>false</value>
</property>

我按照上面將javax.jdo.option.ConnectionURL的屬性值改成另外一個數據庫後啟動MetaStore發現報錯如下（MySQL資料庫沒有沒有）：

MetaException(message:Version information not found in metastore.)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:84)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:93)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:8661)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:8656)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:8926)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:8843)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

解決方案：將下列兩個屬性設定為false 

<property>
	<name>datanucleus.metadata.validate</name>
	<value>false</value>
</property>
<property>
	<name>hive.metastore.schema.verification</name>
	<value>false</value>
</property>

接下來報錯：

MetaException(message:Required table missing : "`DBS`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables")
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:84)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:93)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:8661)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:8656)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:8926)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:8843)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

因為在此實驗環境中，hive的元資料儲存在遠端的mysql中，所以該錯誤意思是：在遠端的資料庫中沒有找到相應的資料物件。

解決辦法：將下列屬性設定為true

<property>
	<name>datanucleus.schema.autoCreateAll</name>
	<value>true</value>
</property>

這個屬性的含義是：當元資料庫中必要的資料物件不存在是，會自動建立。

最後提醒：在xml配置檔案中，在標籤之間不要有空格！！！因為讀取xml檔案時是按標籤讀取的。

相關推薦

hive啟動MetaStore報錯解決方案

今天在自己的虛擬機器上安裝apache-hive-3.1.1時啟動hive時出現了很多錯誤，經過不斷的資料查詢及測試最終可以正常運行了，特記錄下，加深自己的印象分享給大家，也以便以後出現同樣的錯誤時可以檢視筆記解決。 第一條錯誤： MetaException(message:Erro

<問題解決09>使用2017.2版的IDEA的struts2框架啟動tomcat報錯--解決方案如下：

logs exce catalina blog .cn 錯誤 tomcat8 idea tomcat報錯 問題描述： 　　　　使用2017.2版的IDEA自動生成的struts2框架的核心包為： 　　　　 　　　　使用這兩個包結合tomcat-8啟動時報如下錯誤： 　　　　

MySQL 啟動服務報錯解決方案

概述   文章主要介紹因為啟動mysql服務報錯引發的問題，順帶擴充一些其它的知識點,當前版本是red hat 6,mysql 5.6。 目錄  概述  步驟  報錯的源頭  問題解決  問題分析  總結 步驟 報錯的源頭 問題解決 1.許可權 報錯的

Mac OS 使用PyCharm 啟動Python Django程式報錯 解決方案

報錯資訊圖片 報錯資訊文字 django.core.exceptions.ImproperlyConfigured: Requested setting USE_I18N, but settings are not configured. You must either define

RabbitMQ啟動管理外掛報錯解決方案

安裝RabbitMQ之後啟動管理外掛:rabbitmq-plugins enable rabbitmq_management報錯時資訊如下:=SUPERVISOR REPORT==== 4-Jul-2018::09:43:50.551000 === superviso

linux oracle啟動時 ：各種報錯 解決方案

我們在linux下啟動oracle服務：第一個：啟動監聽服務時：執行命令:lsnrctl start ：此時報command not found（這是我們在linux裡見過最多的錯誤了吧）原因：那說明，我們的oracle相關服務沒有加入環境變數;而且我們在安裝oracle時，

Android studio 代碼突然報錯解決方案

cache dst roi image 技術分享 users 方案 file sdn 1.點擊File->Invalidate Caches / Restart... 2.重啟Gradle，清除緩存 3.Clean Project 4.關閉Android Stud

validators配置要點及No result defined for action報錯解決方案

result 文件 con 屬性 得到 驗證類型 name 命名 請求 在做JavaEE SSH項目時，接觸到validators驗證。 需要了解validators配置，或者遇到No result defined for action 這個錯誤時，可查閱本文得到有效解決

eggjs 框架代理調試 SELF_SIGNED_CERT_IN_CHAIN 報錯解決方案

enable 調試 cor 問題 keychain 抓包 報錯 報錯解決 ctx eggjs 中的 this.ctx.curl 可以發起一個請求，配置 proxy 可以很方面的通過接口進行問題定位。代理方式如下： 1、開啟 egg-development-proxy

關於npm run build 報錯解決方案

好的 修改 func cti nod pre babel 目錄 支持 # 特定的錯誤 ERROR in statics/mobile/js/vendor.cef13a0e680a5bc0d8b3.js from UglifyJsUnexpected token: pun

ReactNative環境搭建擴展篇——安裝後報錯解決方案

每次 搖一搖 ack pst img 工程 項目 python2 -1 之前一篇寫了《邏輯性最強的React Native環境搭建與調試》說了RN的安裝，今天在這裏做一個復盤，讓我們能夠更直觀更深入的了解React Native（以下簡稱RN）,這一篇重點來說的就是，安裝之

<問題解決01>Linux虛擬機使用命令yum install 報錯--解決方案如下：

spa 控制面板 sdn 命令 題解 art 使用 正常 res 問題描述： 　　Linux虛擬機上使用yum install命令報錯，錯誤為：Determining IP information for eth0… failed; no link present. eth

<問題解決02>Linux虛擬機使用git push報錯--解決方案如下：

hello class lai git onf http afr 再次 log 問題描述： 　　使用git push 報錯：　　 　　error: The requested URL returned error: 403 Forbidden while accessing

Mac 下 Chrome 瀏覽器 ERR_NETWORK_CHANGED 報錯解決方案

chan 安全 方案 pan chrom remove 由於 pat net 一直以為是 SwitchyOmega 和 SpechtLite 的問題，原來是支付寶安全控件。 由於支付寶現在已經不需要 Mac 安全控件機制，所以可以通過在 terminal 運行以下命令來移

vue-cli打包構建時常見的報錯解決方案

imu cli blog error: 背景 服務 strong 背景圖 log 報錯1：打包後丟到服務器中，打開是空白頁 報錯2：打包後想要在本地file中打開，但是打開是空白頁 報錯3：打包後在瀏覽器中打開，報錯ERROR in xxx.js from UglifyJs

思科和華為交換機loopback-detection引起的報錯解決方案

思科 華為 loopback-detection 今天菜雞哥哥到核心交換發現一堆報錯，如下圖思科對此官方的解釋是：Error Message SW_MATM-4-MACFLAP_NOTIF: Host [enet] in [chars] [dec] is flapping between port

sql無效字符 執行sql語句報錯解決方案

tar nbsp color col copy 坑爹 執行 解決方案 原來 以為是sql中參數賦值有問題，但是將sql語句直接copy到PLSQL中執行，卻沒問題，糾結了好久，原來是 insert語句多了；唉，坑爹 http://www.jb51.net/article/3

Django集成Xadmin list index out of range報錯解決方案

ren get 報錯解決 != del pic 錯誤提示 djang .py return self.render(context) File "C:\Python36\lib\site-packages\django\template\defaulttags

項目pom.xml第一行報錯解決方案

maven text code 報錯解決 pan google bottom 解決方案 des Failed to read artifact descriptor for com.google.code.gson:gson:jar:2.7 less... (?F1) In

使用mysqldump 備份 恢復從庫報錯解決方案（ERROR 1872）

tab 註意 targe 密碼 二進制 5.6 rec 可用 alter 版本：MySQL5.7.22一、報錯現象dba:(none)> start slave;ERROR 1872 (HY000): Slave failed to initialize relay