1. 程式人生 > 實用技巧 >ubuntu深度學習環境的搭建(ubuntu18.04的安裝教程 & GPU驅動安裝 & CUDA安裝 & CUDNN安裝)

ubuntu深度學習環境的搭建(ubuntu18.04的安裝教程 & GPU驅動安裝 & CUDA安裝 & CUDNN安裝)

1.1 製作ubuntu系統安裝盤

1.1.1 下載ubuntu18.04的映象

連結:https://pan.baidu.com/s/1kK9OD1dYyleq1BGBiMXpvA
提取碼:6666

1.1.2 準備一個8G以上的U盤,把系統燒錄進去

燒錄軟體我使用的是rufus

官方下載地址:rufus官網

使用教程:在 Windows 中製作 Ubuntu 系統的USB啟動盤

1.2 U盤啟動安裝ubuntu系統

不同機器進入bios的按鍵和切換啟動項的按鍵不同,一般是F2,F11,DEL其中一個進入BIOS或者切換啟動項的目錄。選擇剛剛製作的ubuntu系統盤的U盤啟動。

安裝教程:Ubuntu18.04安裝教程

安裝ubuntu的時候,比windows安裝多了一個分配空間的問題。

我的硬碟是128G的,實際上只有120G。我沒有分配上面部落格說的那麼多的分割槽。而只是分了4個區域。

/ 30G (apt-get install 的軟體是安裝在根目錄) 主分割槽,空間起始位置

/boot 1G 主分割槽,空間起始位置

swap 16G (我的電腦記憶體16G,所以分給他16G)。邏輯分割槽, 空間起始位置

/home 分配完上面的分割槽,剩下的記憶體都給/home。 邏輯分割槽,空間起始位置

**安裝好系統後第一件事情就是更換軟體源。**因為系統自帶的源在國外,速度比較慢,容易卡死。所以一般要切換到國內的源。

我一般是使用阿里源.更換方法有兩種。1.更改sources.list檔案更換 2.在軟體與更新中去更換源地址。

  1. 更改檔案修改:Ubuntu更換阿里雲軟體源

  2. 在設定中更換源(更簡單,推薦用這種方式)

    Ubuntu 20.04 apt 更換國內源


2.安裝GPU驅動 & cuda & cudnn環境

2.1 三者之間的關係

我一開始並不是很懂得,安裝一個GPU相關的東西,就需要安裝這麼多東西。因為在windows上,不弄深度學習之前,我電腦一般就只會安裝一個顯示卡驅動。現在又是驅動,cuda搞的好複雜。

參考網址:gpu 的驅動,cuda,cudnn的關係

按我的理解,GPU作為硬體平臺,電腦要驅動它,需要一個GPU驅動。CUDA是為了提高GPU平行計算能力做的一個架構(可能就是演算法去實現並行運算)。cudnn像是加速計算的外掛一樣。(因為他不用安裝,只是放到cuda安裝目錄下的資料夾)

2.2 明白自己的需求

安裝之前先確定自己需要什麼環境。我以百度paddle為例分析

tf不同版本支援的cuda也是不同的。選擇你要執行程式碼的環境進行相對應的安裝。

tf對顯示卡算力也有要求的。N卡算力查詢

安裝cuda的時候,cuda對GPU驅動版本限制,

cuda的要求表格

比如:

確定好版本後,下面開始安裝。

接下來的安裝網上有好多教程,教程太多文章質量就是層次不齊。很多好文章因為釋出的晚,搜尋引擎把它放的比較後面,很難找。我推一下我覺得比較好的兩個課程:

1.ubuntu 18.04安裝CUDA環境,包括nvidia驅動、cuda 10.1、cudnn 10.1,人工智慧、機器學習必備技能(強烈推薦這個,我就是根據這個安裝上的)

2.如何在Ubuntu18.04下安裝CUDA10.1和cudnn

2.3 GPU驅動的安裝

2.3.1 解除安裝nouveau nvidia驅動

安裝新GPU驅動之前,需要禁止nouveau nvidia驅動。

1.刪Ubuntu系統除舊驅動

# 刪除
sudo apt-get purge nvidia*

2.禁止自帶的nouveau nvidia驅動

# 開啟配置檔案
sudo gedit /etc/modprobe.d/blacklist-nouveau.conf

3.填寫禁止配置的內容:

把下面兩行新增到檔案的最後面,儲存後退出。

blacklist nouveau
options nouveau modeset=0

4.更新配置檔案,並重啟電腦。

sudo update-initramfs -u

5.重啟計算機(一定要重啟!)

sudo reboot

6.重啟後輸入

lsmod | grep nouveau #沒有輸出,即說明安裝成功

2.3.2 開始安裝驅動

2.3.2.1 自動更新驅動(要先更換前面說的國內源,比如阿里源)

優點:省事

缺點:一般是安裝最新版本的驅動,所以可能不符合tf,paddle需要的cuda環境。

sudo ubuntu-drivers autoinstall

2.3.2.2 手動更新源

1.最新版N卡驅動下載地址

2.老版N卡驅動下載地址

開始安裝

1.在driver run檔案目錄下開啟命令列,執行

sudo chmod a+x (driver.run) 以你下載的檔名為主

2.執行run檔案

sudo sh xx.run 或者 sudo ./ xx.run

3.測試驅動是否安裝完成

nvidia-smi

應該要輸出你電腦的資訊,有輸出下面這樣的資訊,說明GPU驅動安裝成功。

可能遇到的問題:

Unable to find the development tool cc in your path;


可能是你的系統裡沒有裝gcc,那就裝上gcc,類似的,報找不到make,就裝一下

sudo apt-get install gcc
sudo apt-get install make

或者使用命令:

sudo apt install build-essential -y 一鍵安裝那些必要軟體

2.4 CUDA驅動的安裝

2.4.1 cuda安裝包的下載

官網下載地址

2.4.2 安裝命令

1.安裝命令和安裝驅動一樣

sudo chmod a+x (driver.run) 以你下載的檔名為主

2.執行run檔案

sudo sh xx.run 或者 sudo ./ xx.run

將會進入下面的安裝介面,直接點選install。

在這裡插入圖片描述
之後設定環境變數。

輸入 sudo gedit ~/.bashrc 開啟主目錄下的 .bashrc檔案新增如下路徑:

export LD_LIBRARY_PATH=

$LD_LIBRARY_PATH:/usr/local/cuda-10.1/lib64

export PATH=$PATH:/usr/local/cuda-10.1/bin

export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-10.1

在命令列輸入source ~/.bashrc使之生效。

輸入 nvcc --version,如果顯示如下文字就說明安裝成功了:
在這裡插入圖片描述

如果沒有這個指令,他應該會提示沒有找到

Command ‘nvcc’ not found, but can be installed with: sudo apt install nvidia-cuda-toolkit

然後根據提示安裝即可。

sudo apt install nvidia-cuda-toolkit

驗證cuda是否能夠正常執行:

因為我們是有安裝smaple demo的,所以在最開始~目錄下,要有一個nvidia_cuda…._samples 這個資料夾的,進入這個資料夾。

  1. cd 1_Utilities

  2. cd deviceQuery

  3. 在deviceQuery這個資料夾中make,會多出一個deviceQuery可執行檔案

  4. ./deviceQuery 執行,會輸出相應的資訊

2.5:Cudnn 下載安裝

驅動的下載:CuDNN Archive

在這裡插入圖片描述

選擇對應cuda的版本下載下來。這個下載需要登陸nvidia,需要有一個nvidia賬號,註冊一個就行。

安裝cudnn

這個就是一個加速的檔案,無需安裝。

把準備好的cudnn檔案複製到已經安裝好的cuda資料夾裡。cuda安裝在usr資料夾裡。點開主目錄裡下面的計算機就可以找到。但是在這裡沒有辦法用拖拽的方式進行復制黏貼(因為沒有超級許可權),需要使用命令列的方式。安裝過程參考自[3]

首先進入cudnn對應的資料夾裡。之後敲如下命令

sudo cp cuda/include/* /usr/local/cuda/include
sudo cp cuda/lib64/* /usr/local/cuda/lib64

複製成功就可以了。

最後額外說一點,如果你想解除安裝顯示卡驅動的話,可以用這個命令來解除安裝:

sudo apt-get remove nvidia*

如果想檢視隱藏資料夾,可以通過Ctrl + h組合鍵。