numpy實現神經網路反向傳播演算法的步驟
阿新 • • 發佈：2020-01-09
一、任務
實現一個4 層的全連線網路實現二分類任務，網路輸入節點數為2，隱藏層的節點數設計為：25,50,25，輸出層2 個節點，分別表示屬於類別1 的概率和類別2 的概率，如圖所示。我們並沒有採用Softmax 函式將網路輸出概率值之和進行約束，而是直接利用均方差誤差函式計算與One-hot 編碼的真實標籤之間的誤差，所有的網路啟用函式全部採用Sigmoid 函式，這些設計都是為了能直接利用梯度推導公式。
二、資料集
通過scikit-learn 庫提供的便捷工具生成2000 個線性不可分的2 分類資料集，資料的特徵長度為2，取樣出的資料分佈如圖 所示，所有的紅色點為一類，所有的藍色點為一類，可以看到資料的分佈呈月牙狀，並且是是線性不可分的，無法用線性網路獲得較好效果。為了測試網路的效能，按照7: 3比例切分訓練集和測試集，其中2000 ∗ 0 3 =600個樣本點用於測試，不參與訓練，剩下的1400 個點用於網路的訓練。
import matplotlib.pyplot as plt
import seaborn as sns #要注意的是一旦匯入了seaborn，matplotlib的預設作圖風格就會被覆蓋成seaborn的格式
from sklearn.datasets import make_moons
from sklearn.model_selection import train_test_split
N_SAMPLES = 2000 # 取樣點數
TEST_SIZE = 0.3 # 測試數量比率
# 利用工具函式直接生成資料集
X,y = make_moons(n_samples = N_SAMPLES,noise=0.2,random_state=100)
# 將2000 個點按著7:3 分割為訓練集和測試集
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=TEST_SIZE,random_state=42)
print(X.shape,y.shape)
# 繪製資料集的分佈，X 為2D 座標，y 為資料點的標籤
def make_plot(X,plot_name,file_name=None,XX=None,YY=None,preds=None,dark=False):
if (dark):
plt.style.use('dark_background')
else:
sns.set_style("whitegrid")
plt.figure(figsize=(16,12))
axes = plt.gca()
axes.set(xlabel="$x_1$",ylabel="$x_2$")
plt.title(plot_name,fontsize=30)
plt.subplots_adjust(left=0.20)
plt.subplots_adjust(right=0.80)
if(XX is not None and YY is not None and preds is not None):
plt.contourf(XX,YY,preds.reshape(XX.shape),25,alpha = 1,cmap=plt.cm.Spectral)
plt.contour(XX,levels=[.5],cmap="Greys",vmin=0,vmax=.6)
# 繪製散點圖，根據標籤區分顏色
plt.scatter(X[:,0],X[:,1],c=y.ravel(),s=40,cmap=plt.cm.Spectral,edgecolors='none')
plt.savefig('dataset.svg')
plt.close()
# 呼叫make_plot 函式繪製資料的分佈，其中X 為2D 座標，y 為標籤
make_plot(X,"Classification Dataset Visualization ")
plt.show()
三、網路層
通過新建類Layer 實現一個網路層，需要傳入網路層的資料節點數，輸出節點數，啟用函式型別等引數，權值weights 和偏置張量bias 在初始化時根據輸入、輸出節點數自動生成並初始化：
class Layer:
# 全連線網路層
def __init__(self,n_input,n_neurons,activation=None,weights=None,bias=None):
"""
:param int n_input: 輸入節點數
:param int n_neurons: 輸出節點數
:param str activation: 啟用函式型別
:param weights: 權值張量，預設類內部生成
:param bias: 偏置，預設類內部生成
"""
# 通過正態分佈初始化網路權值，初始化非常重要，不合適的初始化將導致網路不收斂
self.weights = weights if weights is not None else
np.random.randn(n_input,n_neurons) * np.sqrt(1 / n_neurons)
self.bias = bias if bias is not None else np.random.rand(n_neurons) *0.1
self.activation = activation # 啟用函式型別，如'sigmoid'
self.last_activation = None # 啟用函式的輸出值o
self.error = None # 用於計算當前層的delta 變數的中間變數
self.delta = None # 記錄當前層的delta 變數，用於計算梯度
def activate(self,x):
# 前向傳播
r = np.dot(x,self.weights) + self.bias # X@W+b
# 通過啟用函式，得到全連線層的輸出o
self.last_activation = self._apply_activation(r)
return self.last_activation
# 其中self._apply_activation 實現了不同的啟用函式的前向計算過程：
def _apply_activation(self,r):
# 計算啟用函式的輸出
if self.activation is None:
return r # 無啟用函式，直接返回
# ReLU 啟用函式
elif self.activation == 'relu':
return np.maximum(r,0)
# tanh
elif self.activation == 'tanh':
return np.tanh(r)
# sigmoid
elif self.activation == 'sigmoid':
return 1 / (1 + np.exp(-r))
return r
# 針對於不同的啟用函式，它們的導數計算實現如下：
def apply_activation_derivative(self,r):
# 計算啟用函式的導數
# 無啟用函式，導數為1
if self.activation is None:
return np.ones_like(r)
# ReLU 函式的導數實現
elif self.activation == 'relu':
grad = np.array(r,copy=True)
grad[r > 0] = 1.
grad[r <= 0] = 0.
return grad
# tanh 函式的導數實現
elif self.activation == 'tanh':
return 1 - r ** 2
# Sigmoid 函式的導數實現
elif self.activation == 'sigmoid':
return r * (1 - r)
return r
四、網路模型
完成單層網路類後，再實現網路模型的類NeuralNetwork，它內部維護各層的網路層Layer 類物件，可以通過add_layer 函式追加網路層，實現如下：
class NeuralNetwork:
# 神經網路大類
def __init__(self):
self._layers = [] # 網路層物件列表
def add_layer(self,layer):
# 追加網路層
self._layers.append(layer)
# 網路的前向傳播只需要迴圈呼叫個網路層物件的前向計算函式即可
def feed_forward(self,X):
# 前向傳播
for layer in self._layers:
# 依次通過各個網路層
X = layer.activate(X)
return X
#網路模型的反向傳播實現稍複雜，需要從最末層開始，計算每層的𝛿變數，根據我們
#推導的梯度公式，將計算出的𝛿變數儲存在Layer類的delta變數中
# 因此，在backpropagation 函式中，反向計算每層的𝛿變數，並根據梯度公式計算每層引數的梯度值，
# 按著梯度下降演算法完成一次引數的更新。
def backpropagation(self,X,learning_rate):
# 反向傳播演算法實現
# 前向計算，得到輸出值
output = self.feed_forward(X)
for i in reversed(range(len(self._layers))): # 反向迴圈
layer = self._layers[i] # 得到當前層物件
# 如果是輸出層
if layer == self._layers[-1]: # 對於輸出層
layer.error = y - output # 計算2 分類任務的均方差的導數
# 關鍵步驟：計算最後一層的delta，參考輸出層的梯度公式
layer.delta = layer.error * layer.apply_activation_derivative(output)
else: # 如果是隱藏層
next_layer = self._layers[i + 1] # 得到下一層物件
layer.error = np.dot(next_layer.weights,next_layer.delta)
# 關鍵步驟：計算隱藏層的delta，參考隱藏層的梯度公式
layer.delta = layer.error * layer.apply_activation_derivative(layer.last_activation)
# 在反向計算完每層的𝛿變數後，只需要按著式計算每層的梯度，並更新網路引數即可。
# 由於程式碼中的delta 計算的是−𝛿，因此更新時使用了加號。
# 迴圈更新權值
for i in range(len(self._layers)):
layer = self._layers[i]
# o_i 為上一網路層的輸出
o_i = np.atleast_2d(X if i == 0 else self._layers[i-1].last_activation)
# 梯度下降演算法，delta 是公式中的負數，故這裡用加號
layer.weights += layer.delta * o_i.T * learning_rate
def train(self,X_train,y_test,learning_rate,max_epochs):
# 網路訓練函式
# one-hot 編碼
y_onehot = np.zeros((y_train.shape[0],2))
y_onehot[np.arange(y_train.shape[0]),y_train] = 1
mses = []
for i in range(max_epochs): # 訓練1000 個epoch
for j in range(len(X_train)): # 一次訓練一個樣本
self.backpropagation(X_train[j],y_onehot[j],learning_rate)
if i % 10 == 0:
# 打印出MSE Loss
mse = np.mean(np.square(y_onehot - self.feed_forward(X_train)))
mses.append(mse)
print('Epoch: #%s,MSE: %f' % (i,float(mse)))
# 統計並列印準確率
print('Accuracy: %.2f%%' % (self.accuracy(self.predict(X_test),y_test.flatten()) * 100))
return mses
def accuracy(self,y_pre,y_true):
return np.mean((np.argmax(y_pre,axis=1) == y_true))
def predict(self,X_test):
return self.feed_forward(X_test)
五、例項化NeuralNetwork類，進行訓練
nn = NeuralNetwork() # 例項化網路類 nn.add_layer(Layer(2,'sigmoid')) # 隱藏層1,2=>25 nn.add_layer(Layer(25,'sigmoid')) # 隱藏層2,25=>50 nn.add_layer(Layer(50,'sigmoid')) # 隱藏層3,50=>25 nn.add_layer(Layer(25,2,'sigmoid')) # 輸出層,25=>2 learning_rate = 0.01 max_epochs = 1000 nn.train(X_train,max_epochs)
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。