ubuntu深度學習環境的搭建(ubuntu18.04的安裝教程 & GPU驅動安裝 & CUDA安裝 & CUDNN安裝)
1.1 製作ubuntu系統安裝盤
1.1.1 下載ubuntu18.04的映象
連結:https://pan.baidu.com/s/1kK9OD1dYyleq1BGBiMXpvA
提取碼:6666
1.1.2 準備一個8G以上的U盤,把系統燒錄進去
燒錄軟體我使用的是rufus
官方下載地址:rufus官網
使用教程:在 Windows 中製作 Ubuntu 系統的USB啟動盤
1.2 U盤啟動安裝ubuntu系統
不同機器進入bios的按鍵和切換啟動項的按鍵不同,一般是F2,F11,DEL其中一個進入BIOS或者切換啟動項的目錄。選擇剛剛製作的ubuntu系統盤的U盤啟動。
安裝教程:Ubuntu18.04安裝教程
安裝ubuntu的時候,比windows安裝多了一個分配空間的問題。
我的硬碟是128G的,實際上只有120G。我沒有分配上面部落格說的那麼多的分割槽。而只是分了4個區域。
/ 30G (apt-get install 的軟體是安裝在根目錄) 主分割槽,空間起始位置
/boot 1G 主分割槽,空間起始位置
swap 16G (我的電腦記憶體16G,所以分給他16G)。邏輯分割槽, 空間起始位置
/home 分配完上面的分割槽,剩下的記憶體都給/home。 邏輯分割槽,空間起始位置
**安裝好系統後第一件事情就是更換軟體源。**因為系統自帶的源在國外,速度比較慢,容易卡死。所以一般要切換到國內的源。
我一般是使用阿里源.更換方法有兩種。1.更改sources.list檔案更換 2.在軟體與更新中去更換源地址。
更改檔案修改:Ubuntu更換阿里雲軟體源
在設定中更換源(更簡單,推薦用這種方式)
2.安裝GPU驅動 & cuda & cudnn環境
2.1 三者之間的關係
我一開始並不是很懂得,安裝一個GPU相關的東西,就需要安裝這麼多東西。因為在windows上,不弄深度學習之前,我電腦一般就只會安裝一個顯示卡驅動。現在又是驅動,cuda搞的好複雜。
按我的理解,GPU作為硬體平臺,電腦要驅動它,需要一個GPU驅動。CUDA是為了提高GPU平行計算能力做的一個架構(可能就是演算法去實現並行運算)。cudnn像是加速計算的外掛一樣。(因為他不用安裝,只是放到cuda安裝目錄下的資料夾)
2.2 明白自己的需求
安裝之前先確定自己需要什麼環境。我以百度paddle為例分析
tf不同版本支援的cuda也是不同的。選擇你要執行程式碼的環境進行相對應的安裝。
tf對顯示卡算力也有要求的。N卡算力查詢。
安裝cuda的時候,cuda對GPU驅動版本限制,
比如:
確定好版本後,下面開始安裝。
接下來的安裝網上有好多教程,教程太多文章質量就是層次不齊。很多好文章因為釋出的晚,搜尋引擎把它放的比較後面,很難找。我推一下我覺得比較好的兩個課程:
1.ubuntu 18.04安裝CUDA環境,包括nvidia驅動、cuda 10.1、cudnn 10.1,人工智慧、機器學習必備技能(強烈推薦這個,我就是根據這個安裝上的)
2.如何在Ubuntu18.04下安裝CUDA10.1和cudnn
2.3 GPU驅動的安裝
2.3.1 解除安裝nouveau nvidia驅動
安裝新GPU驅動之前,需要禁止nouveau nvidia驅動。
1.刪Ubuntu系統除舊驅動
# 刪除
sudo apt-get purge nvidia*
2.禁止自帶的nouveau nvidia驅動
# 開啟配置檔案
sudo gedit /etc/modprobe.d/blacklist-nouveau.conf
3.填寫禁止配置的內容:
把下面兩行新增到檔案的最後面,儲存後退出。
blacklist nouveau
options nouveau modeset=0
4.更新配置檔案,並重啟電腦。
sudo update-initramfs -u
5.重啟計算機(一定要重啟!)
sudo reboot
6.重啟後輸入
lsmod | grep nouveau #沒有輸出,即說明安裝成功
2.3.2 開始安裝驅動
2.3.2.1 自動更新驅動(要先更換前面說的國內源,比如阿里源)
優點:省事
缺點:一般是安裝最新版本的驅動,所以可能不符合tf,paddle需要的cuda環境。
sudo ubuntu-drivers autoinstall
2.3.2.2 手動更新源
開始安裝
1.在driver run檔案目錄下開啟命令列,執行
sudo chmod a+x (driver.run) 以你下載的檔名為主
2.執行run檔案
sudo sh xx.run 或者 sudo ./ xx.run
3.測試驅動是否安裝完成
nvidia-smi
應該要輸出你電腦的資訊,有輸出下面這樣的資訊,說明GPU驅動安裝成功。
可能遇到的問題:
Unable to find the development tool cc in your path;
可能是你的系統裡沒有裝gcc,那就裝上gcc,類似的,報找不到make,就裝一下
sudo apt-get install gcc
sudo apt-get install make
或者使用命令:
sudo apt install build-essential -y 一鍵安裝那些必要軟體
2.4 CUDA驅動的安裝
2.4.1 cuda安裝包的下載
2.4.2 安裝命令
1.安裝命令和安裝驅動一樣
sudo chmod a+x (driver.run) 以你下載的檔名為主
2.執行run檔案
sudo sh xx.run 或者 sudo ./ xx.run
將會進入下面的安裝介面,直接點選install。
之後設定環境變數。
輸入 sudo gedit ~/.bashrc 開啟主目錄下的 .bashrc檔案新增如下路徑:
export LD_LIBRARY_PATH=
$LD_LIBRARY_PATH:/usr/local/cuda-10.1/lib64
export PATH=$PATH:/usr/local/cuda-10.1/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-10.1
在命令列輸入source ~/.bashrc使之生效。
輸入 nvcc --version,如果顯示如下文字就說明安裝成功了:
如果沒有這個指令,他應該會提示沒有找到
Command ‘nvcc’ not found, but can be installed with: sudo apt install nvidia-cuda-toolkit
然後根據提示安裝即可。
sudo apt install nvidia-cuda-toolkit
驗證cuda是否能夠正常執行:
因為我們是有安裝smaple demo的,所以在最開始~目錄下,要有一個nvidia_cuda…._samples 這個資料夾的,進入這個資料夾。
cd 1_Utilities
cd deviceQuery
在deviceQuery這個資料夾中make,會多出一個deviceQuery可執行檔案
./deviceQuery 執行,會輸出相應的資訊
2.5:Cudnn 下載安裝
驅動的下載:CuDNN Archive
選擇對應cuda的版本下載下來。這個下載需要登陸nvidia,需要有一個nvidia賬號,註冊一個就行。
安裝cudnn
這個就是一個加速的檔案,無需安裝。
把準備好的cudnn檔案複製到已經安裝好的cuda資料夾裡。cuda安裝在usr資料夾裡。點開主目錄裡下面的計算機就可以找到。但是在這裡沒有辦法用拖拽的方式進行復制黏貼(因為沒有超級許可權),需要使用命令列的方式。安裝過程參考自[3]
首先進入cudnn對應的資料夾裡。之後敲如下命令
sudo cp cuda/include/* /usr/local/cuda/include
sudo cp cuda/lib64/* /usr/local/cuda/lib64
複製成功就可以了。
最後額外說一點,如果你想解除安裝顯示卡驅動的話,可以用這個命令來解除安裝:
sudo apt-get remove nvidia*
如果想檢視隱藏資料夾,可以通過Ctrl + h組合鍵。