1. 程式人生 > >CentOS 7.4 安裝 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop叢集

CentOS 7.4 安裝 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop叢集

1.安裝環境說明

三臺機器安裝好CentOS-7-x86_64-Minimal-1708.iso

下載地址:https://www.centos.org/download/

最好在安裝時設定好IP和HOSTNAME

三臺機器的IP和HOSTNAME下載如下

主 192.168.31.11 SY-001.hadoop

從 192.168.31.12 SY-002.hadoop

從 192.168.31.13 SY-003.hadoop

每個節點設定host

[[email protected] ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.31.11 SY-001 SY-001.hadoop
192.168.31.12 SY-002 SY-002.hadoop
192.168.31.13 SY-003 SY-003.hadoop

每個節點關閉DHCP 設定為靜態IP

[[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=87a7a287-0360-476a-996c-a60012f7b087
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.31.11
PREFIX=24
GATEWAY=192.168.31.1
DNS1=192.168.31.1
IPV6_PRIVACY=no

2.作業系統環境準備

2.1 配置SSH免密碼登入

主節點裡root使用者登入執行如下步驟

[[email protected] ~]# ssh-keygen
[[email protected] ~]# cd ~/.ssh/
[[email protected] ~]# cat id_rsa.pub >>authorized_keys
[[email protected] ~]# chmod 600 ~/.ssh
[[email protected] ~]# chmod 600 ~/.ssh/authorized_keys

先在從節點登入root執行命令

[[email protected] ~]# mkdir ~/.ssh/
[[email protected] ~]# mkdir ~/.ssh/

分發主節點裡配置好的authorized_keys到各從節點

[[email protected] ~]# scp /root/.ssh/authorized_keys root@192.168.31.12:/root/.ssh/authorized_keys
[[email protected] ~]# scp /root/.ssh/authorized_keys root@192.168.31.13:/root/.ssh/authorized_keys

2.2 建立ambari系統使用者和使用者組

只在主節點操作

新增ambari安裝、執行使用者和使用者組,也可以不建立新使用者,直接使用root,我是直接用的root

[[email protected] ~]# adduser ambari
[[email protected] ~]# passwd ambari

2.3 開啟NTP服務

所有節點都需要操作

[[email protected] ~]# yum install ntp
[[email protected] ~]# systemctl is-enabled ntpd
[[email protected] ~]# systemctl enable ntpd
[[email protected] ~]# systemctl start ntpd

2.4 檢查DNS和NSCD

所有節點都要設定

ambari在安裝時需要配置全域名,所以需要檢查DNS。為了減輕DNS的負擔, 建議在節點裡用 Name Service Caching Daemon (NSCD)

[r[email protected] ~]# vi /etc/hosts
192.168.131.11 SY-001 SY-001.hadoop
192.168.131.12 SY-002 SY-002.hadoop
192.168.131.13 SY-003 SY-003.hadoop

每臺節點裡配置FQDN,如下以主節點為例

[[email protected] ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=SY-001.hadoop

2.5 關閉防火牆

所有節點都要設定

[[email protected] ~]# systemctl disable firewalld
[[email protected] ~]# systemctl stop firewalld

2.6 關閉SELinux

所有節點都要設定

檢視SELinux狀態:

[[email protected] ~]# sestatus
SELinux status:                 enabled
[[email protected] ~]# sestatus
SELinux status:                 disabled

臨時關閉,不用重啟機器:

[[email protected] ~]# setenforce 0

修改配置檔案需要重啟機器:

[[email protected] ~]# vi /etc/sysconfig/selinux
SELINUX=disabled

3.製作本地源

製作本地源只需在主節點上進行即可

3.1 相關準備工作

3.1.1安裝 Apache HTTP 伺服器

安裝HTTP 伺服器,允許 http 服務通過防火牆(永久)

[[email protected] ~]# yum install httpd
[[email protected] ~]# firewall-cmd --add-service=http 
[[email protected] ~]# firewall-cmd --permanent --add-service=http

新增 Apache 服務到系統層使其隨系統自動啟動

[[email protected] ~]# systemctl start httpd.service
[[email protected] ~]# systemctl enable httpd.service
3.1.2 安裝本地源製作相關工具
[[email protected] ~]# yum install yum-utils createrepo

3.2 下載安裝資源

下載 Ambari 2.6.0 , HDP 2.6.3 的安裝資源,本次安裝是在CentOS 7 上,只列出CentOS 7的資源,其他系統的請現在對用系統的資源

Ambari 2.6.0 下載資源

RedHat 7

CentOS 7

Oracle Linux 7

Base URL http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0
Repo File http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari.repo
Tarball http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz

HDP 2.6.3 下載資源

RedHat 7

CentOS 7

Oracle Linux 7

HDP-2.6.3.0 HDP Version Definition File (VDF) http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-235.xml
Base URL http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0
Repo File http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/hdp.repo
Tarball http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz
HDP-UTILS Base URL http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7
Tarball http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

下載上面列表的中的壓縮包, 
需要下載的壓縮包如下:

Ambari 2.6.0
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz
HDP 2.6.3
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz
HDP-UTILS 1.1.0.21
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

在httpd網站根目錄,預設是即/var/www/html/,建立目錄ambari, 
並且將下載的壓縮包解壓到/var/www/html/ambari目錄
HDP-UTILS需要先建立一個HDP-UTILS資料夾並將HDP-UTILS-1.1.0.21-centos7.tar.gz放到HDP-UTILS目錄下再解壓

[[email protected] ~]# cd /var/www/html/
[[email protected] html]# mkdir ambari
[[email protected] html]# cd /var/www/html/ambari/
[[email protected] ambari]# wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz
[[email protected] ambari]# wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz

[[email protected] ambari]# tar -zxvf ambari-2.6.0.0-centos7.tar.gz
[[email protected] ambari]# tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz
[[email protected] ambari]# mkdir HDP-UTILS
[[email protected] ambari]# mv HDP-UTILS-1.1.0.21-centos7.tar.gz /var/www/html/ambari/HDP-UTILS/
[[email protected] ambari]# tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz

驗證httpd網站是否可用,用瀏覽器直接訪問下面的地址,如果能看到目錄列表就表示成功:

http://192.168.31.1/ambari/

3.3 配置ambari、HDP、HDP-UTILS的本地源

首先下載上面資源列表中的相應repo檔案,修改其中的URL為本地的地址,相關配置如下:

ambari.repo

[[email protected] yum.repos.d]# vi ambari.repo 
#VERSION_NUMBER=2.6.0.0-267
[ambari-2.6.0.0]
name=ambari Version - ambari-2.6.0.0
baseurl=http://192.168.31.11/ambari/ambari/centos7/2.6.0.0-267
gpgcheck=1
gpgkey=http://192.168.31.11/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hdp.repo

[[email protected] yum.repos.d]# vi hdp.repo 
#VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.31.11/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.31.11/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.31.11/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.31.11/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

將上面的修改過的源放到/etc/yum.repos.d/下面

[[email protected] yum.repos.d]# yum clean all
[[email protected] yum.repos.d]# yum list update
[[email protected] yum.repos.d]# yum makecache
[[email protected] yum.repos.d]# yum repolist

3.4 安裝Mysql資料庫

Ambari安裝會將安裝等資訊寫入資料庫,建議使用MariaDB資料庫,也可以不安裝而使用預設資料庫PostgreSQL

[[email protected] ~]# yum install mariadb-server
[[email protected] ~]# systemctl start mariadb
[[email protected] ~]# systemctl enable mariadb
#資料庫初始化設定
[[email protected] ~]# mysql_secure_installation
#首先是設定密碼,會提示先輸入密碼
Enter current password for root (enter for none):<–初次執行直接回車
#設定密碼
Set root password? [Y/n] <– 是否設定root使用者密碼,輸入y並回車或直接回車
New password: <– 設定root使用者的密碼
Re-enter new password: <– 再輸入一次你設定的密碼
#其他配置
Remove anonymous users? [Y/n] <– 是否刪除匿名使用者,回車
Disallow root login remotely? [Y/n] <–是否禁止root遠端登入,回車,
Remove test database and access to it? [Y/n] <– 是否刪除test資料庫,回車
Reload privilege tables now? [Y/n] <– 是否重新載入許可權表,回車
#初始化MariaDB完成,接下來測試登入,輸入密碼能正常登陸就完成了
[[email protected] ~]# mysql -uroot -p

安裝完成後建立ambari資料庫及使用者,登入資料庫root使用者執行下面語句:

[[email protected] ~]# mysql -uroot -p
create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

如果要安裝Hive,再建立Hive資料庫和使用者 再執行下面的語句:

create database hive character set utf8 ;  
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

如果要安裝Oozie,再建立Oozie資料庫和使用者 再執行下面的語句:

create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

安裝mysql jdbc 驅動

[[email protected] ~]# yum install mysql-connector-java

3.5 安裝JDK

Java SE Development Kit 8u152下載地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html
下載解壓版jdk-8u152-linux-x64.tar.gz,再執行下面命令:

[[email protected] ~]# tar -zxvf jdk-8u152-linux-x64.tar.gz -C /opt/java/
[[email protected] ~]# vi /etc/profile
export JAVA_HOME=/opt/java/jdk1.8.0_152
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
source /etc/profile

4.進行安裝Ambari

4.1 安裝Ambari2.6.0

4.1.1安裝Ambari

[[email protected] ~]# yum install ambari-server

4.1.2配置Ambari

[[email protected] ~]# ambari-server setup

下面是配置執行流程,按照提示操作

1.檢查SELinux是否關閉,如果關閉不用操作

Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'

2.提示是否自定義設定。輸入:y

Customize user account for ambari-server daemon [y/n] (n)? y

3.ambari-server 賬號。輸入:ambari

Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...

4.檢查防火牆,如果關閉則不用操作

Checking firewall status...
Redirecting to /bin/systemctl status  iptables.service

5.設定JDK。輸入:3

Checking JDK...
Do you want to change Oracle JDK [y/n] (n)? y
[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[] Custom JDK
==============================================================================
Enter choice (1): 3

6.如果上面選擇3自定義JDK,則需要設定JAVA_HOME。輸入:/opt/java/jdk1.8.0_152

WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/java/jdk1.8.0_152
Validating JDK on Ambari Server...done.
Completing setup...

7.資料庫配置。選擇:y

Configuring 
            
           

相關推薦

CentOS 7.4 安裝 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop叢集

1.安裝環境說明 三臺機器安裝好CentOS-7-x86_64-Minimal-1708.iso 下載地址:https://www.centos.org/download/ 最好在安裝時設定好IP和HOSTNAME 三臺機器的IP和HOSTNAME下載如下 主

【Linux】CentOS 7.4 安裝 MySQL 8.0.12 解壓版

style prope error shared false 添加 tab code plain 安裝環境/工具   1、Linux(CentOS 7.4版)   2、mysql-8.0.12-el7-x86_64.tar.gz 安裝步驟   參考:https://dev.

centos 7.4 安裝mysql5.6(二進位制方式安裝)

一、在/usr/joe目錄下下載mysql wget https://dev.mysql.com/get/Downloads/MySQL-5.5/mysql-5.5.62-linux-glibc2.12-x86_64.tar.gz 二、解壓mysql tar -zvxf mysql-5.

CentOS 7.4安裝Zabbix 3.4.2

QQ交流群:64655993 安裝環境 [[email protected] ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) 關閉防火牆 Centos 7.3開始iptables就不存在了

Centos 7.4 安裝ipython和mysql-python遇到的問題

centos 7.4 安裝ipythonpip安裝ipython報錯記錄#pip install ipython==5.5.0Collecting ipython==5.5.0 Downloading http://mirrors.aliyun.com/pypi/packages/08/2c/628550

CentOS 7.4 安裝 yum Zabbix 3.4

linux zabbix 監控Download and install Zabbixhttps://www.zabbix.com/download 安裝 安裝mariadb yum install mariadb-server mariadb –y systemctl enable mariadb syste

Centos 7.4安裝練習

accept S3 自定義 默認 是否 mark fff centos 掩碼 安裝CentOS7.4步驟: 打開虛擬機軟件VMware Workstation 點擊 左上角"文件-新建虛擬機", 選擇"自定義"下一步。 默認選擇"下一步"。 選擇"稍後安裝操作系統-下一步"

CentOS 7.4 安裝 Apache Cassandra 3.7

name 文件 x64 interval ram nproc ora ace eba 近期公司提出利用Cassandra 做數據匯總分析,查閱一些文檔,總結了一下安裝過程不妥之處,敬請賜教! 環境版本信息:OS:CentOS Linux release 7.4.1708ca

centos 7.4安裝jdk配置相關

下載jdk http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 進入伺服器/usr/local目錄 cd /usr/local/ 建立jav

CentOS 7.4安裝nodejs & nginx

一、安裝nodejs 1、檢視作業系統資訊   uname -a 2、安裝wget   yum install wget -y 3、安裝nodejs   1、下載 wget https://nodejs.org/dist/v10.13.0/node-v10.13.0-linux-x64.tar.xz   2、

Centos 7.5安裝部署redis 5.0.0集群

per 追加 onf redis3 分享圖片 c-c 防火墻 conf tcp Redis是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日誌型、Key-Value數據庫,並提供多種語言的API。和Memcached類似,但它支持存儲的value類型相

CentOS 7.4安裝 MySQL資料庫

CentOS 7 版本將MySQL資料庫軟體從預設的程式列表中移除,用MariaDB代替了,MariaDB資料庫管理系統是MySQL的一個分支,主要由開源社群在維護,採用GPL授權許可。開發這個分支的原因之一是:甲骨文公司收購了MySQL後,有將MySQL閉源的潛在風險,因此社群採用分支的方式來避開這個風險。

docker實戰centos 7.4 安裝docker

docker實戰centos 7.4 安裝docker 首發:arppinging 一、docker安裝條件 1.64 bit cpu2.linux kernel 3.10+3.linux kernel 支援 cgroups and namespaces centos 7.4 x64為的滿足條件。實際

CentOS 7.4安裝telnet服務端

一、檢查是否安裝telnet [[email protected] Solin]# rpm -qa | grep telnet [[ema

騰訊雲 CentOS 7.4 安裝 Mysql

一、前言:CentOS 7 版本將MySQL資料庫軟體從預設的程式列表中移除,用MariaDB代替了,MariaDB資料庫管理系統是MySQL的一個分支,主要由開源社群在維護,採用GPL授權許可。開發這個分支的原因之一是:甲骨文公司收購了MySQL後,有將MySQL閉源的潛在

Centos 7.4 安裝 Redis 全過程

關閉防火牆: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall開機啟動 firewall-cmd --state #檢視預設防火牆狀態(關閉後顯示notrunning,開啟

CentOS 7.4 安裝 Nginx(配置單域名多HTTPS主機)

1. 下載 openssl 並解壓,並將解壓後的資料夾改名為 openssl-111。wget https://www.openssl.org/source/openssl-1.1.1-pre8.tar.gztar -zxvf openssl-1.1.1-pre8.tar.g

yum centos 7.4 安裝svn伺服器

1.檢視linux版本   cat /etc/redhat-release 檢視CentOS版本     cat /proc/version 可以看出centos是7.4的,linux為64位的 2. 檢查是否已安裝    如果沒有顯示內容,說明沒有安裝。 #

CentOS 7.4 安裝後優化配置

1.網絡卡 [[email protected] ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens32 顯示結果:  TYPE="Ethernet"  BOOTPROTO="static"  NAME="ens32

CentOS 7.4 安裝配置Samba伺服器

[[email protected] ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core)[[email protected] ~]# yum -y install samba