1. 程式人生 > >阿里雲GPU伺服器配置深度學習環境-遠端訪問-centos,cuda,cudnn,tensorflow,keras,jupyter notebook

阿里雲GPU伺服器配置深度學習環境-遠端訪問-centos,cuda,cudnn,tensorflow,keras,jupyter notebook

一、準備工作:

1、阿里雲相關設定:

先給阿里雲賬戶充值100元。

選擇阿里雲ECS雲伺服器

 

 

搜尋:CentOS 7.3(預裝NVIDIA GPU驅動和深度學習框架)

 

 

 

安全組新增8888許可權

8888/8888

0.0.0.0/0

 

2、軟體相關設定:

1)、使用putty工具連結linux伺服器

小字型看的眼暈的話,這裡可以改字型,16-18號看起來就可以很舒服了

這裡是坑,絕對不要填0,保持啟用狀態

 

回到這裡,雙擊剛才儲存好的連結資訊

 

PS:putty終端操作linux滑鼠右鍵是貼上功能。

 

(2)、Winscp工具傳輸檔案

傳檔案,傳模型都可以

 

二、Linux相關配置:

1、管理員賬戶新增

新增使用者

useradd run

設定密碼

passwd run 

設定使用者許可權

usermod -g root run 

檢視所有使用者資訊

cat /etc/passwd 

重置配置檔案,需要root許可權才能覆蓋,所以丟失該檔案之後要第一時間保證root的登入狀態,重啟就麻煩了(要麼重灌系統,要麼在機箱上裝系統盤進行恢復)

cp /etc/passwd- /etc/passwd

在root下編輯passwd

vi /etc/passwd 

如果我新新增的使用者名稱是test那麼:

第三個引數設為0即可

test:x:0:0::/home/test:/bin/bash 

游標移動到響應位置後按insert鍵進行修改。

修改完成後按ESC,輸入“:wq”儲存即可退出

 

 

#切換使用者,切換到run使用者 

su run 

命令列之前是#就說明是root許可權

 

更改目錄許可權

sudo chmod -R 777 /home/run/

 

2、conda環境配置

(1)安裝bzip2

yum install -y bzip2

 

 

 

 

(2)、安裝anaconda

1)、下載

sudo wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.0-Linux-x86_64.sh

 

2)、安裝

sudo bash Anaconda3-5.3.0-Linux-x86_64.sh

回車

空格

 

Yes

 

目錄就寫:

/home/run/anaconda3

安裝中。。。。。。

 

如果出現這句話:

一定要打yes,意思是是否願意將conda新增到環境變數,實測這裡打yes沒卵用

 

(3)、conda環境變數配置:

如果沒有出現是否願意將conda新增到環境變數這句話,

就按照下面的步驟操作(出現了打yes也要按照這個來,因為打yes沒卵用)

新增anaconda環境變數 
輸入命令:

vi /etc/profile 

進入 /etc/profile 檔案,在檔案末尾加上如下兩行程式碼

 

PATH=$PATH:/home/run/anaconda3/bin  #路徑名跟自己實際情況而定

export PATH

 

ESC,:wq儲存

 使配置生效

source /etc/profile

 

 

conda --version

這裡看到顯示版本則說明配置成功

 

 

(4)conda更新

更新conda install的源,清華源

conda config --add channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/'

 

設定搜尋時顯示通道地址

conda config --set show_channel_urls yes

 

更新一下conda

conda update conda

 

3、jupyter notebook環境配置:

(1)、建立jupyter notebook執行環境,

可以方便管理各類庫

conda create -n jupyter_notebook python=3

 

啟用環境

source activate jupyter_notebook

現在是在jupyter的環境下:

 

 

退出環境:後續所有操作都是在jupyter環境中執行,所以不要退出

source deactivate

 

(2)、安裝深度學習所需要的所有庫

有conda install儘量用conda install

如果沒有就用pip install

為什麼,因為conda install快啊。

pip install --upgrade pip

conda install numpy

conda install pandas

conda install tensorflow-gpu

conda install keras

pip install jieba

 

 

(3)、安裝jupyter notebook

conda install jupyter notebook

 

測試

jupyter notebook --ip=127.0.0.1 --allow-root

Ctrl+c退出

 

 

(4)、配置jupyter notebook遠端訪問

jupyter notebook --generate-config --allow-root

生成了一個.py的配置檔案

 

生成密碼:

ipython

 In [1],In [2]分別是:

from notebook.auth import passwd
passwd() 

Enter password: 自己輸入,記住,等會遠端登入使用

Verify password:

Out[2]: 'sha1:f7a4725c96ae:6f4b9089e295405d0e4a2fdfc3d2209f9dd0214f'

儲存好這個out的密碼

現在開啟.py的配置檔案:

vim /home/run/.jupyter/jupyter_notebook_config.py

在最後一行加入:

c.NotebookApp.allow_root = True

c.NotebookApp.ip = '*'

c.NotebookApp.password = 'sha1:f7a4725c96ae:6f4b9089e295405d0e4a2fdfc3d2209f9dd0214f'#這裡的密碼是剛剛生成的密碼

c.NotebookApp.port= 8888

c.NotebookApp.notebook_dir = "/home/run/" #預設目錄

c.NotebookApp.open_browser = False

 

在按ESC,輸入::wq儲存退出

 

(5)、執行jupyter

jupyter notebook --allow-root

 

All ip 說明允許所有IP進行訪問。

 

 

(6)、jupyter本地連結

現在開啟瀏覽器:

輸入伺服器IP:8888進入

再輸入前邊passwd()後自己設定的密碼:

所有的操作就和本地的jupyter notebook是一樣的了

這就是環境配置完成了。

 

 

三、跑程式碼

別忘了儲存模型檔案

本地編輯好程式碼之後,直接貼上在阿里雲的notebook裡,時間就是金錢啊,要珍惜每一秒鐘。

 

 

四、建立自定義映象

 

 

建立好之後每次購買阿里雲GPU(按量付費)的話,就不用每次都配置了,映象檔案選擇自定義映象就可以了。

 

五、釋放例項

跑完程式碼之後,模型檔案儲存到本地之後,到阿里雲的控制檯,選擇左側例項,找到GPU伺服器,右側找到更多釋放例項→立即釋放

 

 

六、再次啟動

再次使用例項的時候,那些繁雜的安裝就不需要了,前面的自定義映象就相當於GHOST一個映象,進行系統還原一樣。

只需要:

1,啟動啟用notebook環境,

source activate jupyter_notebook

2,執行jupyter notebook

jupyter notebook --allow-root

3,啟動瀏覽器,新GPU服務IP:8888進入。

4,Putty+winscp連結新伺服器。

就可以了。