1. 程式人生 > >從零開始的Hadoop大資料叢集(偽)搭建,全免費VirtualBox虛擬機器Ubuntu版,學習向,超詳細---(一)

從零開始的Hadoop大資料叢集(偽)搭建,全免費VirtualBox虛擬機器Ubuntu版,學習向,超詳細---(一)

     在公司工作了一段時間了,大資料平臺都是公司的運維人員搭建維護的,自己也想親自搭建一套,純粹為了學習和提高自己,也為了以後自己研究用。公司的環境不太適合亂來,自己的就可以隨意玩了。

    寫這個也是為了記錄自己學習的過程,同時給大家提供一個參考,想要學習大資料的也可以嘗試。

    本文所有內容均為原創,都是自己親自嘗試成功才敢發出來的,真實有效。

    先說說環境吧:

    1、系統:Windows10 64位。CPU i7,16G記憶體。

    2、虛擬機器:VirtualBox。看到網上很多人都是Vmware,其實我想說,與其費盡心思去弄破解版的Vmware,還要面對各種植入病毒,破解BUG,破解後各種執行問題和缺陷,真的不如直接使用VirtualBox更好,其實對大部分人來說,功能沒差多少,而且Oracle出品,最關鍵是免費!免費!免費!你不用花多餘的心思浪費在找破解軟體上,還不會搞壞你的系統。而且特別輕量,沒有多餘的亂七八糟的影響系統性能的東東。(說多了,我不是Oracle的員工)

    3、Linux:Ubuntu 18.04  * 5個。同理,中國大部分公司生產環境都是RedHet系的,無非RedHet和CentOS。我就非要用Ubuntu。

    4、免費版Xshell 6和Xftp 6 。對,又是免費的。

    5、hadoop 2.8.5 。寫這篇文章的時候3應該已經出了好久了。但是2還是好用的。

    下面開始基本的環境準備吧。本篇內容先是如何搭建出一個5臺Ubuntu虛擬機器的伺服器叢集。

    當然了,如果你的記憶體是8G,那麼建議搭建3臺虛擬機器就夠了。

    一、安裝Oracle VM VirtualBox

    這個自己去百度一下官網,下載完成之後自己安裝就好。簡單提一下,要使用虛擬機器,必須首先開啟Intel虛擬化技術(現在基本CPU都支援,AMD不清楚),要進入BIOS根據自己的主機板自行修改,很多主機板預設是不開啟的。

    然後安裝好之後,執行VirtualBox,介面看起來是這樣的。

二、下載Ubuntu  18.04 。注意一定要下載Server版。不要下載Desktop版和Cloud版。(因為我不會)

下載完成之後看起來是這樣的。

三 、安裝Ubuntu

1、在VirtualBox上點選新建。然後如圖

2、點選下一步,然後分配記憶體。這裡給2048M就好。後期自己可以調整。

3、 然後選擇建立虛擬硬碟。

4、選擇VDI。(推薦)下一步

5、 選擇動態分配。下一步

6 、輸入20GB就OK。如果你硬碟很大,那就可以更大點。

7、然後可以在左邊,看到多了一個虛擬機器。

8、直接雙擊執行, 然後選擇你剛才下好的烏班圖映象。如圖。

9、 點選啟動,等待載入完畢。然後進入這個介面。

10、一直下一步就好!(按回車)基本沒什麼需要你去改的。直到進入這一步:(廢話一句,VirtualBox切回滑鼠的按鍵是右邊的Crtl)

11 然後Continue。 進入這個介面,輸入以下:

12  等待安裝完畢。選擇reboot now,等待重啟。(還要按一下回車,注意提示)

13 重啟完成之後,登陸你剛才的賬號密碼。我使用的是test,登陸之後如圖:

四 、系統初步適應

    由於我們使用Ubuntu系統,和RedHet系還是有很多區別的。首先烏班圖預設不適用ROOT賬號,這對於我們來說有很多不方便(學習的時候使用ROOT賬號可以省去很多麻煩,在公司的生產環境請勿這樣使用。)所以先修改一些東西,讓系統適應我們。

    加一個注意:本文的所有操作都是為了快速搭建學習環境而簡化,正式環境請勿這樣。

1、設定root密碼

    執行命令:sudo passwd root

    分別輸入test密碼,root密碼,root密碼確認。

    然後:su root

    切換到root賬號。

2、設定root許可權ssh登陸

    執行命令:vim /etc/ssh/sshd_config

    找到PermitRootLogin這一行,修改為yes。並且去掉#號,看起來是這樣的:

改為:

然後wq儲存。接著關機。執行 shutdown -h now

或者直接右上角關閉。

選擇正常關閉。OK

五、使用SSH登陸虛擬機器

    一般來說,我們都是通過SSH登陸伺服器進行相關操作。而要連線到虛擬機器,也有很多方式。

1 設定

    首先在剛才建好的虛擬機器上點右鍵,然後設定。如圖。

2、網路

選擇網路, 然後可以看到如下圖:

   

3 、選擇

    熟悉Vmware的應該都很清楚這幾種。我這裡主要說一下這2個:

    (1)橋接網絡卡,使用這種方式,你的虛擬機器會出現在你的局域網裡。比如你有一個路由器,連線了2個裝置,並且啟用了DHCP自動分配IP地址。你的路由器地址是192.168.1.1,那麼按照DHCP地址池設定,你的電腦連線了路由器,IP可能就是192.168.1.100這樣(根據路由器品牌會有很大差異),你的手機連線了路由器,IP可能就是192.168.1.101。而你的虛擬機器啟動了,就會是192.168.1.102。

    這種方式好處就是,你的虛擬機器也能輕鬆連線外網(網際網路)!你局域網裡的其他裝置可以很方便的訪問你的虛擬機器!

    (2)僅主機host-only網路(本文的方式)

    然而我們選擇下面的方式。如圖:

點選OK,然後再次啟動虛擬機器!

4、檢視ip

使用root登陸,然後輸入命令:

ifconfig

可以看到你的IP地址。如圖所示:

如果 你看不到IP,那麼很可能你的host-only網路的dhcp沒開啟。解決方法如下:

開啟 選單欄的管理,主機網路管理器。

看看  DHCP伺服器勾上沒有,如果沒有,那就勾上,然後重啟你的虛擬機器。

5、使用xshell登陸虛擬機器。

開啟xshell(如果沒有,去官網下載一個教育版,免費的。)

輸入ssh 192.168.56.3(你剛才查詢到的IP地址。每個人不一樣。)

 然後使用root賬號登陸。

到此,我們第一臺hadoop伺服器搭建完畢。