2020-08-10 實習記錄：ubuntu16安裝hadoop
阿新 • • 發佈：2020-09-08
虛擬機器
VMware虛擬機器
系統
Ubuntu16-Server，4g記憶體
檔案傳輸
xftp傳輸
Java版本
jdk1.8
安裝步驟
1.安裝Ubuntu16-Server，4g記憶體
2.安裝配置ssh https://www.cnblogs.com/cookiewu/p/9664062.html
sudo -s，輸入密碼進入root
apt-get installopenssh-server；
啟動：/etc/init.d/ssh start 重啟/etc/init.d/ssh restart
*check ps -e|grep ssh如果看到sshd那說明ssh-server已經啟動
3.安裝jdk1.8 -from https://edelivery.oracle.com/akam/otn/java/jdk/8u251-b08/3d5a2bb8f8d4428bbe94aed7ec7ae784/jdk-8u251-windows-x64.exe用xftp傳輸到虛擬機器中
tar -xzvf jdk-8u191-linux-x64.tar.gz
vi /etc/profile
新增配置：
export JAVA_HOME=/Java/jdk1.8 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
更新一下 source /etc/profile
4.安裝單機版hadoop https://blog.csdn.net/hhy1107786871/article/details/85221665解壓
tar -xzvf hadoop-2.7.7.tar.gz
配置/etc/profile
export HADOOP_HOME=/Hadoop/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile
配置/etc/hosts和/etc/hostname檔案實現修改本機的hostname
*其實hostname無所謂
##將/etc/hosts內容修改為： 173.18.118.58 master 127.0.0.1 localhost localhost.localdomain ##將/etc/hostname內容修改為： master
生成祕鑰
cd ssh-keygen -t rsa car id_rsa.pub >> ~/.ssh/authorized_keys
**遇到問題
一般為許可權問題
vi /etc/ssh/sshd_config 把 permitrootlogin 的 prohibit-password 改為yes
去除了authorized keys file前面的#
PasswordAuthentication yes 去掉了前面的#
PeimitEmptyPasswords 改成了yes
chmod -R 700 ~/.ssh
安裝ZooKeeper
步驟同上
./zkServer.sh start #開啟 ./zkServer.sh stop #關閉
啟動Hadoop
start-all.sh stop-all.sh
訪問叢集資源管理器 http://master:8088/cluster
HDFS node：http://master:8042/node
NameNode: http://master:50070
*注意不要打成https。 瀏覽器用firefox或chrome
**Hadoop問題
1.無法啟動datanode節點 https://www.cnblogs.com/huifeidezhuzai/p/9211378.html
方法二：
將name/current下的VERSION中的clusterID複製到data/current下的VERSION中，覆蓋掉原來的clusterID
2.注意埠的分配問題，避免埠被佔用的情況
3.不要重複設定secondarynode不然開啟後沒有secondarynode