1. 程式人生 > >HBase出現java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration問題

HBase出現java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration問題

問題:Hbase在叢集上執行報錯:NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfiguration
需求:HBase使用Java建立表,打包成jar,提交到叢集上行執行!
在IDEA中使用Maven新增Hbase
程式碼:

 <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-it</artifactId>
            <version
>
1.1.3</version> </dependency>

Java程式碼:

package com.bynear.HBase;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop
.hbase.TableName; import org.apache.hadoop.hbase.client.HBaseAdmin; import java.io.IOException; /** * 2018/6/20 * 15:35 */ public class HBaseTest { public static void main(String[] args) throws Exception { Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum"
, "Spark1:2181,Spark2:2181"); HBaseAdmin admin = new HBaseAdmin(conf); TableName name = TableName.valueOf("nvshen"); HTableDescriptor desc = new HTableDescriptor(name); HColumnDescriptor base_info = new HColumnDescriptor("base_info"); HColumnDescriptor extra_info = new HColumnDescriptor("extra_info"); base_info.setMaxVersions(5); extra_info.setMaxVersions(5); desc.addFamily(base_info); desc.addFamily(extra_info); admin.createTable(desc); } }

打包提價到叢集上:

 hadoop jar /root/SparkStudy.jar com/bynear/HBase/HBaseTest

結果出現如下報錯!

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
        at com.bynear.HBase.HBaseTest.main(HBaseTest.java:19)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        ... 6 more

解決辦法:
把hbase的jar包加入到hadoop classpath中
在hadoop安裝目錄下找到hadoop-env.sh檔案,
新增 : export HADOOP_CLASSPATH=/home/hadoop/apps/hbase/lib/*
不需要重啟,重新執行命令hadoop jar mapreducehbase.jar hbase.TxHBase 執行成功。

HBase的安裝!
tar -zxvf hbase.tar -C 到指定的目錄
vim hbase-env.sh
新增 JAVA_HOME 將自導的Zookeeper 修改為flase
vim hbase-site.xml

<configuration>
<property>
//新增HDFS的路徑(自動建立)
        <name>hbase.rootdir</name>
        <value>hdfs://Spark1:9000/hbase</value>
</property>
<property>
//是否啟用分散式
        <name>hbase.cluster.distributed</name>
        <value>true</value>
</property>
<property>
//配置zookeeper
        <name>hbase.zookeeper.quorum</name>
        <value>Spark1:2181,Spark2:2181</value>
</property>
</configuration>

注意:
需要將 Hadoop 的 hdfs-site.xml 和 core-site.xml 拷貝到Hbase的conf目錄中,因為HBase叢集是依賴於Hadoop叢集的,HBase的region產生的HFile,儲存在hbase-site.xml中建立的HDFS指定的目錄中!
執行結果:

18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/root/app/hadoop-2.5.0-cdh5.3.6/lib/native
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:java.io.tmpdir=/tmp
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:java.compiler=<NA>
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:os.name=Linux
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:os.arch=i386
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:os.version=2.6.32-431.el6.x86_64
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:user.name=root
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:user.home=/root
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:user.dir=/root
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=Spark1:2181,Spark2:2181 sessionTimeout=90000 watcher=hconnection-0xcb18130x0, quorum=Spark1:2181,Spark2:2181, baseZNode=/hbase
18/06/21 01:01:36 INFO zookeeper.ClientCnxn: Opening socket connection to server Spark1/192.168.2.15:2181. Will not attempt to authenticate using SASL (unknown error)
18/06/21 01:01:36 INFO zookeeper.ClientCnxn: Socket connection established, initiating session, client: /192.168.2.15:47408, server: Spark1/192.168.2.15:2181
18/06/21 01:01:36 INFO zookeeper.ClientCnxn: Session establishment complete on server Spark1/192.168.2.15:2181, sessionid = 0x641d2794760039, negotiated timeout = 40000
18/06/21 01:01:40 INFO client.HBaseAdmin: Created nvshen

執行結果:

hbase(main):001:0> list
TABLE                                                                                                                                
nvshen                                                                                                                               
1 row(s) in 0.4150 seconds

=> ["nvshen"]
hbase(main):002:0> 

相關推薦

HBase出現java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration問題

問題:Hbase在叢集上執行報錯:NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfiguration 需求:HBase使用Java建立表,打包成jar,提交到叢集上行執行! 在IDEA中使用Mave

HBase】Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Fil

【問題描述】 在使用bulkload方式向HBase匯入資料的時候遇到了如下的錯誤: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter at

啟動hbase出現 java.lang.NoClassDefFoundError: org/apache/zookeeper/KeeperException

在偽分散式下啟動hadoop後,啟動hbase。 啟動前沒對關於hbase的環境有關的變數進行配置, 啟動如下,出現異常 [email protected] ~/hbase-0.94.4 $ bin/start-hbase.sh localhost: +=====

HBase MapReduce 解決java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/...

在使用MapReduce 和HBase結合時候,在執行程式的時候,會出現 java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/xxx錯誤,原

Maven專案中出現java.lang.NoClassDefFoundError: org/apache/commons/fileupload/FileItemFactory異常的解決方案!

前幾天專案出現的問題: 啟動專案時一直報異常資訊:        java.lang.NoClassDefFoundError:org/apache/commons/fileupload/FileItemFactory.

hive啟動報錯 java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf

bin/hive Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf 這裡分享一種可能 到hadoop的etc/hadoo

Flume "java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.setWriteToWAL"

之前我們的架構方式採用的是spark+hbase+oozie解析儲存及呼叫演算法模式,最近突然出現一個需求,會有很多小檔案上傳,而且要求達到偽實時處理,也就是秒級別,spark很顯然不適合解析了,哪怕是幾十行的檔案, spark也基本是分鐘級別。 我想過2個方案來處理,一個是使用純JAVA來解

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer

在執行spark on hive 的時候在  sql.show()處報錯 : Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer 報錯詳情: Exceptio

在繞過證書驗證實現https訪問時 出現java.lang.NoClassDefFoundError: org/apache/http/conn/socket//PlainConnectionSock

# 歡迎使用Markdown編輯器寫部落格 本Markdown編輯器使用StackEdit修改而來,用它寫部落格,將會帶來全新的體驗哦: Markdown和擴充套件Markdown簡潔的語法 程式碼塊高亮 圖片連結和圖片上傳 LaTex數學公式 UML序列

hadoop解決Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps

linux+eclipse+本地執行WordCount丟擲下面異常: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps。 解決:沒有把yar

問題: java.lang.NoClassDefFoundError:org/apache/hadoop/mapred/InputSplitWithLocationInfo

問題描述:Exception in thread “dag-scheduler-event-loop” java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/InputSplitWithLocationInfo 缺少

Spring Boot 出現java.lang.NoClassDefFoundError: org/apache/tomcat/util/security/Escape錯誤

Spring Boot整合Jsp的過程中,編譯報出如下錯誤。 2018-03-15 22:04:45.166 ERROR 7240 --- [nio-8080-exec-1] o.a.c.c.C.[.[.[/].[dispatcherServlet]

java.lang.NoClassDefFoundError: org/apache/juli/logging/LogFactory,翻閱文件,都是說tomcat 少了什麼包。但是又說tomcat7以前的才會出現。直到翻到了https://www.oschina.net/question/17097

別人推薦jfinal非常好,就想著要在eclipse中進行一個demo的實驗。通過閱讀了幾篇大神的部落格。終於把環境安裝完成。 http://blog.csdn.net/weixin_37176250/article/details/71720803。這位大神的上下文章都介紹了jfinal的環境

Hadoop-異常-Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/avro/io/DatumReader

 //maven org.apache.avr  下載不完全 ,去maven    If you are using maven to build your jar, you need to add the following depende

tomcat關閉時log4j報錯錯出現記憶體洩漏即java.lang.NoClassDefFoundError: org/apache/logging/log4j/message/Parameteriz

專案中使用的log4j做為日誌管理工具,最近發現在關閉tomcat時一直報錯,錯誤截圖如下: 解決方法:log4j在使用前需要初始化init(),在使用完成後同樣需要destory(),在servlet的destory()方法中新增“LogManager.

mybatis + log4j2 問題 java.lang.NoClassDefFoundError: org/apache/logging/log4j/spi/AbstractLoggerWrapper

logger nbsp 比較 mybatis oot log ogg bst modified root cause java.lang.NoClassDefFoundError: org/apache/logging/log4j/spi/AbstractLoggerWra

java.lang.NoClassDefFoundError: org/apache/commons/lang3/StringUtils

apache con ont test oca action error esp iat 1.java.lang.NoClassDefFoundError: org/apache/commons/lang3/StringUtils 缺少類 2. There is no Ac

java.lang.NoClassDefFoundError: org/apache/zookeeper/Watcher$Event$KeeperState

create col cycle eve apach sport fig depend frame 七月 29, 2017 10:51:00 上午 org.apache.catalina.core.StandardContext listenerStart嚴重: Excep

java.lang.NoClassDefFoundError: org/apache/ibatis/cursor/Cursor

error: cursor net sde 鏈接 版本 解決方法 pri batis 因為mybatis的版本和mybatis-spring的版本不兼容導致的,解決方法:mybatis的3.4.0及以上版本用mybatis-spring1.3.0及以上版本;mybatis的

java.lang.NoClassDefFoundError: org/apache/jsp/Index_jsp

internal col erl jsp catalina log pre under .class 今天在啟動Tomcat 後發現出現了這個錯誤 嚴重: Servlet.service() for servlet jsp threw exception j