安裝hadoop以及部署本地模式(單詞詞數統計程式）
阿新 • • 發佈：2018-12-02
準備實驗的環境：
-
1、安裝Linux、JDK
- 有關centOS安裝詳見：https://blog.csdn.net/zxdspaopao/article/details/83277479
- 有關jdk安裝詳見：https://blog.csdn.net/zxdspaopao/article/details/83278090
2、配置主機名、免密碼登入
3、約定：安裝目錄：/usr/local
一、準備環境
1、配置主機名
#vi /etc/hostname
- 修改為：
cmaster
- 重啟生效：
#reboot
2、免密碼登入
#ssh-keygen -t rsa
#ll ~/.ssh/
#ssh cmaster
二、安裝hadoop
1、上傳hadoop安裝所需要的壓縮包
2、檢視目錄
#cd /usr/local
#ls
3、解壓
# tar -zxvf hadoop-2.8.4.tar.gz -C /usr/local
- 解壓完成後刪除壓縮包：
# rm -f hadoop-2.8.4.tar.gz
三、設定環境變數
#vi /etc/profile
- 在下方新增一下內容：
HADOOP_HOME=/usr/local/hadoop-2.8.4
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
- 使修改的環境變數生效：
#source /etc/profile
- 檢視hadoop是否安裝成功;
#which Hadoop
#hadoop version
四、部署hadoop本地模式
特點：不具備HDFS，只能測試MapReduce程式
1、修改hadoop-env.sh配置檔案
#cd /usr/local/hadoop-2.8.4/etc/Hadoop
#vi Hadoop-env.sh
- 在25行修改：
export JAVA_HOME=/usr/local/jdk1.8.0_151
Esc :wq儲存退出
- 檢視：
#hdfs dfs –ls /
- 出現列表即部署成功。
2、執行單詞統計程式
#mkdir
#cd data
#mkdir input
#mkdir output
#cd input
#vi wc.txt
- 在百度找一篇英語文章寫入其中，如圖：
- Esc :wq儲存退出
- 執行程式：
# hadoop jar /usr/local/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /root/data/input/wc.txt /root/data/output/wc
- 檢視結果：
# cat /root/data/output/wc/part-r-00000
程式執行成功。
有需要hadoop安裝包的或有什麼不懂得地方可在下方留言。