阿里雲GPU伺服器配置深度學習環境-遠端訪問-centos,cuda,cudnn,tensorflow,keras,jupyter notebook
一、準備工作:
1、阿里雲相關設定:
先給阿里雲賬戶充值100元。
選擇阿里雲ECS雲伺服器
搜尋:CentOS 7.3(預裝NVIDIA GPU驅動和深度學習框架)
安全組新增8888許可權
8888/8888
0.0.0.0/0
2、軟體相關設定:
(1)、使用putty工具連結linux伺服器
小字型看的眼暈的話,這裡可以改字型,16-18號看起來就可以很舒服了
這裡是坑,絕對不要填0,保持啟用狀態
回到這裡,雙擊剛才儲存好的連結資訊
PS:putty終端操作linux滑鼠右鍵是貼上功能。
(2)、Winscp工具傳輸檔案
傳檔案,傳模型都可以
二、Linux相關配置:
1、管理員賬戶新增
新增使用者
useradd run
設定密碼
passwd run
設定使用者許可權
usermod -g root run
檢視所有使用者資訊
cat /etc/passwd
重置配置檔案,需要root許可權才能覆蓋,所以丟失該檔案之後要第一時間保證root的登入狀態,重啟就麻煩了(要麼重灌系統,要麼在機箱上裝系統盤進行恢復)
cp /etc/passwd- /etc/passwd
在root下編輯passwd
vi /etc/passwd
如果我新新增的使用者名稱是test那麼:
第三個引數設為0即可
test:x:0:0::/home/test:/bin/bash
游標移動到響應位置後按insert鍵進行修改。
修改完成後按ESC,輸入“:wq”儲存即可退出
#切換使用者,切換到run使用者
su run
命令列之前是#就說明是root許可權
更改目錄許可權
sudo chmod -R 777 /home/run/
2、conda環境配置
(1)安裝bzip2
yum install -y bzip2
(2)、安裝anaconda
1)、下載
sudo wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.0-Linux-x86_64.sh
2)、安裝
sudo bash Anaconda3-5.3.0-Linux-x86_64.sh
回車
空格
Yes
目錄就寫:
/home/run/anaconda3
安裝中。。。。。。
如果出現這句話:
一定要打yes,意思是是否願意將conda新增到環境變數,實測這裡打yes沒卵用
(3)、conda環境變數配置:
如果沒有出現是否願意將conda新增到環境變數這句話,
就按照下面的步驟操作(出現了打yes也要按照這個來,因為打yes沒卵用)
新增anaconda環境變數
輸入命令:
vi /etc/profile
進入 /etc/profile 檔案,在檔案末尾加上如下兩行程式碼
PATH=$PATH:/home/run/anaconda3/bin #路徑名跟自己實際情況而定
export PATH
ESC,:wq儲存
使配置生效
source /etc/profile
conda --version
這裡看到顯示版本則說明配置成功
(4)conda更新
更新conda install的源,清華源
conda config --add channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/'
設定搜尋時顯示通道地址
conda config --set show_channel_urls yes
更新一下conda
conda update conda
3、jupyter notebook環境配置:
(1)、建立jupyter notebook執行環境,
可以方便管理各類庫
conda create -n jupyter_notebook python=3
啟用環境
source activate jupyter_notebook
現在是在jupyter的環境下:
退出環境:後續所有操作都是在jupyter環境中執行,所以不要退出
source deactivate
(2)、安裝深度學習所需要的所有庫
有conda install儘量用conda install
如果沒有就用pip install
為什麼,因為conda install快啊。
pip install --upgrade pip
conda install numpy
conda install pandas
conda install tensorflow-gpu
conda install keras
pip install jieba
(3)、安裝jupyter notebook
conda install jupyter notebook
測試
jupyter notebook --ip=127.0.0.1 --allow-root
Ctrl+c退出
(4)、配置jupyter notebook遠端訪問
jupyter notebook --generate-config --allow-root
生成了一個.py的配置檔案
生成密碼:
ipython
In [1],In [2]分別是:
from notebook.auth import passwd passwd()
Enter password: 自己輸入,記住,等會遠端登入使用
Verify password:
Out[2]: 'sha1:f7a4725c96ae:6f4b9089e295405d0e4a2fdfc3d2209f9dd0214f'
儲存好這個out的密碼
現在開啟.py的配置檔案:
vim /home/run/.jupyter/jupyter_notebook_config.py
在最後一行加入:
c.NotebookApp.allow_root = True
c.NotebookApp.ip = '*'
c.NotebookApp.password = 'sha1:f7a4725c96ae:6f4b9089e295405d0e4a2fdfc3d2209f9dd0214f'#這裡的密碼是剛剛生成的密碼
c.NotebookApp.port= 8888
c.NotebookApp.notebook_dir = "/home/run/" #預設目錄
c.NotebookApp.open_browser = False
在按ESC,輸入::wq儲存退出
(5)、執行jupyter
jupyter notebook --allow-root
All ip 說明允許所有IP進行訪問。
(6)、jupyter本地連結
現在開啟瀏覽器:
輸入伺服器IP:8888進入
再輸入前邊passwd()後自己設定的密碼:
所有的操作就和本地的jupyter notebook是一樣的了
這就是環境配置完成了。
三、跑程式碼
別忘了儲存模型檔案
本地編輯好程式碼之後,直接貼上在阿里雲的notebook裡,時間就是金錢啊,要珍惜每一秒鐘。
四、建立自定義映象
建立好之後每次購買阿里雲GPU(按量付費)的話,就不用每次都配置了,映象檔案選擇自定義映象就可以了。
五、釋放例項
跑完程式碼之後,模型檔案儲存到本地之後,到阿里雲的控制檯,選擇左側例項,找到GPU伺服器,右側找到更多→釋放例項→立即釋放。
六、再次啟動
再次使用例項的時候,那些繁雜的安裝就不需要了,前面的自定義映象就相當於GHOST一個映象,進行系統還原一樣。
只需要:
1,啟動啟用notebook環境,
source activate jupyter_notebook
2,執行jupyter notebook
jupyter notebook --allow-root
3,啟動瀏覽器,新GPU服務IP:8888進入。
4,Putty+winscp連結新伺服器。
就可以了。