1. 程式人生 > >hbase:偽分佈環境搭建及常見錯誤解決方法

hbase:偽分佈環境搭建及常見錯誤解決方法

配置注意事項

1、 ssh

必須安裝ssh , sshd 也必須執行,這樣Hadoop的指令碼才可以遠端操控其他的Hadoop和HBase程序。ssh之間必須都打通,不用密碼都可以登入,詳細方法可以Google一下 ("ssh passwordless login").

2、hostname

HBase使用本地 hostname 才獲得IP地址. 正反向的DNS都是可以的.
如果你的機器有多個介面,HBase會使用hostname指向的主介面.
如果還不夠,你可以設定 hbase.regionserver.dns.interface 來指定主介面。當然你的整個叢集的配置檔案都必須一致,每個主機都使用相同的網路介面
還有一種方法是設定 hbase.regionserver.dns.nameserver來指定nameserver,不使用系統帶的.

3、/etc/hosts(本文使用ubuntu系統)

127.0.0.1 localhost
127.0.0.1 ubuntu.ubuntu-domain ubuntu

4、集群系統時間同步

叢集的時鐘要保證基本的一致。稍有不一致是可以容忍的,但是很大的不一致會造成奇怪的行為。 執行 NTP 或者其他什麼東西來同步你的時間.
如果查詢的時候或者是遇到奇怪的故障,可以檢查一下系統時間是否正確。使用命令date。

5、Ubuntu上設定ulimit

如果你使用的是Ubuntu,你可以這樣設定:
在檔案 /etc/security/limits.conf 新增一行,如:

hadoop  -       nofile  32768

HBase 偽分散式模式配置:

偽分散式模式是一個相對簡單的分散式模式。這個模式是用來測試的。不能把這個模式用於生產環節,也不能用於測試效能。
確認HDFS安裝成功之後,就可以先編輯 conf/hbase-site.xml,在這個檔案可以加入自己的配置。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
/**
 * Copyright 2010 The Apache Software Foundation
 *
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */
-->
<configuration>
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
      <name>hbase.zookeeper.quorum</name>
      <value>master</value>
</property>
<property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
</property>
</configuration>
~
~
"hbase-site.xml" [readonly] 41L, 1345C        

HDFS客戶端配置

      如果希望Hadoop叢集上做HDFS 客戶端配置 ,例如HDFS客戶端的配置和服務端的不一樣。按照如下的方法配置,HBase就能看到配置資訊:
在hbase-env.sh裡將HBASE_CLASSPATH環境變數加上HADOOP_CONF_DIR 。
在${HBASE_HOME}/conf下面加一個 hdfs-site.xml (或者 hadoop-site.xml) ,最好是軟連線
如果HDFS客戶端的配置不多的話,可以把這些加到 hbase-site.xml上面.
例如HDFS的配置 dfs.replication.希望複製5份,而不是預設的3份。如果不照上面的做的話,HBase只會複製3份。

登陸web端

常見錯誤及解決方法:

1、ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times

檢視日誌:view + /usr/local/hadoop/hbase/hbase-0.94.11-security/logs/hbase-root-master-master.out

注:本文hbase的安裝目錄是:/usr/local/hadoop/hbase/hbase-0.94.11-security

錯誤原因:

A、可能還處於safe mode B、RPC協議不一致(本文中在hbase的配置檔案中將rootdir設定為hdfs,如果這兩者的RPC協議不一致就會導致這個問題。) C、檢視日誌發現是許可權問題:
2013-09-09 10:28:02,878 WARN org.apache.hadoop.hbase.util.FSUtils: Unable to create version file at hdfs://master:9000/hbase, retrying: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="hbase":hadoop:supergroup:rwxr-xr-x
2013-09-09 10:28:02,881 FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="hbase":hadoop:supergroup:rwxr-xr-x
D、java.io.FileNotFoundException: /usr/local/hadoop/hbase/hbase-0.94.11-security/logs/SecurityAuth.audit (Permission denied)

解決方法:

A、使用命令檢視hadoop是否處於安全模式,如果是,使離開。
$hadoop dfsadmin -safemode get
$hadoop dfsadmin -safemode leave
B、很簡單,將hbase/lib目錄下的hadoop-core的jar檔案刪除,將hadoop目錄下的hadoop-x.y.z-core.jar拷貝到hbase/lib下面,然後重新啟動hbase即可。 C、更改許可權。
D、更改檔案讀寫許可權:
$sudo chmod a+rwx /usr/local/hadoop/hbase/hbase-0.94.11-security/bin/../logs/SecurityAuth.audit

2、ERROR: org.apache.hadoop.hbase.MasterNotRunningException: null

解決方法:

A、啟動hadoop後,需要等一段時間,再開啟hbase

B、去掉hadoop的安全模式:

hadoop dfsadmin -safemode leave

3、在secureCRT中hbase shell命令下無法回刪

在secureCRT中,點選【選項】【回話選項】【終端】【模擬】,右邊的終端選擇linux,在hbase shell中如輸入出錯,按住Ctrl+刪除鍵 即可刪除!

相關推薦

hbase分佈環境搭建常見錯誤解決方法

配置注意事項 1、 ssh 必須安裝ssh , sshd 也必須執行,這樣Hadoop的指令碼才可以遠端操控其他的Hadoop和HBase程序。ssh之間必須都打通,不用密碼都可以登入,詳細方法可以Google一下 ("ssh passwordless login").

Eclipse C/C++ Python環境搭建常見問題解決

一、Java JDK 安裝Java JDK比較簡單,直接到Java SE Downloads頁面下載相應的軟體版本進行安裝即可。 二、Eclipse的安裝 下載完成後,點選檔案進行安裝。建議選第二個選項,我選的第三個,各種問題。    

Hadoop分佈環境搭建——Hadoop安裝與配置

    我們需要從官網下載hadoop  點選開啟連結  我自己下載的是最新的版本 hadoop 2.7.1。     下載完成後就開始安裝了:     使用  sudo tar xzf hadoo

Hadoop分佈環境搭建——Linux環境配置

    hadoop最近可以說是相當火,也勾起了我的興趣,所以打算學習一下。想要學習hadoop肯定要先學會在自己的電腦上搭建一個hadoop偽分佈環境。偽分佈模式安裝步驟的第一步就是要配置Linux環境。我自己的Linux是Ubuntu系統,不過只要是Linux系統,都大同

Hadoop單機和分佈環境搭建

Hadoop環境搭建與運維 Hadoop概述: Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。 使用者可以在不瞭解分散式底層細節的情況下,開發分散式程式。充分利用叢集的威力進行高速運算和儲存。  Hadoop實現了一個分散式檔案系統(Hadoop Distrib

hadoop系列之分散式環境搭建測試驗證

Hadoop2.x 偽分散式環境搭建及測試驗證 作者:Dennis 日期:2018-08-09 前置條件: Linux 虛擬機器一臺,版本為 CentOS 7.4,假設 IP 地址為 192.168.159.181,並修改如下: 修改/etc/hostname 的

kafka使用筆記-基於SASL認證的kafka叢集環境搭建測試

繼 搭建免認證kafka單機 之後由於業務需要,搭建了基於SASL認證的kafka偽叢集環境。本次同樣使用的是 kafka_2.10-0.10.1.0.tgz 版本的kafka,整合zookeeper,只需要對此進行配置即可,無需單獨安裝。 一、準備工作 1、環境:ubuntu1

Hadoop2.6.0分佈環境搭建

Hadoop2.6.0偽分佈環境搭建 用到的軟體: 一、安裝jdk: 1、要安裝的jdk,我把它拷在了共享資料夾裡面。 (用優盤拷也可以) 2、我把jdk拷在了使用者資料夾下面。 (其他地方也可以,不過路徑要相應改變) 3、執行復制安裝解壓命令:  解壓完畢:

Zookeeper分佈叢集搭建簡單使用演示

要搭建Zookeeper完全分散式叢集請戳這 第一步,下載Zookeeper穩定版 我先科普一下 很多軟體在正式釋出前都會發布一些預覽版或者測試版,一般都叫“beta版”或者 “rc版”,特別是開源軟體,甚至有“alpha版”,下面來解釋一下各個版本的意思。 alp

http訪問svn linux伺服器環境搭建一些問題解決

安裝httpd服務/svn服務 一、安裝apache  # yum install httpd httpd-devel  # service httpd start  # chkconfig httpd on    # vi /etc/httpd

AndroidStudio環境搭建筆記---常見問題解決辦法

Android開發環境搭建 主要是根據老師給的“開發環境配置.pdf”進行操作,其中遇到了幾個問題 1、剛開始進去的時候有個gradle sync的錯誤,然後看了下專案資料夾下的檔案gradle-wrapper.properties,發現 #Sun Sep 0

centos7搭建高可用負載均衡伺服器常見錯誤解決方案

本文章基於centos7版本安裝nginx+keepalived高可用伺服器,在yum命令可用情況下安裝: 1.安裝編譯環境 yum install gcc-c++; 2.安裝PCRE庫:yum install -y pcre pcre-devel; 3.安裝zlib庫

Linux PC和ARM版的QT環境設定到ARM移植&常見錯誤解決方法

* *********安裝前,系統更新,能夠減少未知情況出現 1 PC版本 http://blog.csdn.net/chchchdx123/article/details/6911267 在終端中輸入:sudo apt-get install qt4-dev-t

Hbase叢集安裝配置常見問題解決方法

Hbase介紹 HBASE是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統,利用HBASE技術可在廉價PC Server上搭建起大規模結構化儲存叢集。 HBASE的目標是儲存並處理大型的資料,更具體來說是僅需使用普通的硬體配置,就能夠處理由成千上萬的行和列所組成的大型

Angular4.0 安裝 環境搭建安裝失敗解決辦法

1.安裝nodejs首先要安裝nodejs,可以直接到node官網下載安裝。安裝完成後,開啟cmd ,輸入node -v 檢視是否安裝 。 npm工具也會隨node一起自動安裝,使用npm -v 檢視

ubuntu16.04上onlyoffice環境搭建以及常見錯誤

非docker方式部署onlyoffice 現在的onlyoffice都是docker拉起的,搭建非常簡單,不過為了更深入的瞭解和後期方便修改網站,嘗試手動部署也是個不錯的選擇 官網上有centos搭建文件,但是在centos上部署onlyoffice會無

Fiddler手機抓包環境搭建可能問題解決

Fiddler手機抓包環境搭建 1、下載Fiddler. 2、開啟Fiddler->Tools->Fiddler Options->Connections->Allow remote computers to connect,注意埠號,一般是8888 3、電腦與機連線同一網路,電腦cm

NFS服務的簡介常見故障解決方法

NFS文件系統介紹 NFS配置詳解 NFS常見故障及解決方法 NFS文件系統詳解 NFS實現自動掛載 NFS服務的簡介及常見故障解決方法1、NFS基本介紹(1)NFS簡介 NFS 是Network File System的縮寫,即網絡文件系統。一種使用於分散式文件系統的

Sping MVC 整合Junit4進行單元測試常見錯誤解決

bat 手工 jar包 測試 ava spin .get sco 多個 1.Sping整合Junit4進行單元測試:使用spring-test和Junit4進行單元測試 (1)maven依賴:添加spring-test和Junit4 jar包對於jdk1.7版本,sprin

DOXYGEN註釋巨集使用步驟常見問題解決方法

步驟1 :下載doxygen的binary 包 doxygen下載地址 為了使doxygen能夠將類圖、協作圖等 加入到文件中,還要下載安裝graphviz for win。 graphviz 2.18下載: 全部安裝後就可以開始使用了。 步驟2:執行doxygen wi