這一週主要講了深層的神經網路搭建。

深層神經網路的符號表示

在深層的神經網路中，

• L$L$表示神經網路的層數 L=4$L=4$
• n[l]$n^{[l]}$表示第l$l$層的神經網路個數
• W[l]:(n[l],nl−1)$W^{[l]}:(n^{[l]},n^{l-1})$
• dW[l]:(n[l],nl−1)$d{W}^{[l]}:(n^{[l]},n^{l-1})$
• b[l]:(n[l],1)$b^{[l]}:(n^{[l]},1)$
• db[l]:(n[l],1)$d{b}^{[l]}:(n^{[l]},1)$
• z[l]:(n[l],1)$z^{[l]}:(n^{[l]},1)$
• a[l]:(n[l],1)$a^{[l]}:(n^{[l]},1)$

前向傳播和反向傳播

前向傳播

input a

[l−1]$a^{[l-1]}$

output a[l],cache(z[l])$a^{[l]},cache(z^{[l]})$ ，其中cache也順便把 W[l],b[l]$W^{[l]},b^{[l]}$也儲存下來了

所以，前向傳播的公式可以寫作：

Z[l]=W[l]A[l−1]+b[l]$$Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}$$ A[l]=g[l](Z[l])$$A^{[l]}=g^{[l]}(Z^{[l]})$$

維度

假設有m個樣本，那麼Z[l]$Z^{[l]}$ 維度就是 (n[l],m)$(n^{[l]},m)$ ，A[l]$A^{[l]}$的維度和Z[l]$Z^{[l]}$一樣。

那麼 W[l]A[l−1]$W^{[l]}{A}^{[l-1]}$維度就是 (n[l],nl−1)∗