前言

**注意：coursera要求不要在網際網路公佈自己的作業。如果你在學習這個課程，建議你進入課程系統自行完成作業。使用邏輯迴歸作為一個最簡單的類似神經網路來進行影象判別。我覺得程式碼有參考和保留的意義。v
使用一個 2×4×1的網路來對資料進行二分類。**
比較麻煩的是什麼時候用點乘，什麼時候用矩陣乘法。見【4.3】小節的程式碼。雖然程式碼都提交通過稽核，但自己還需要梳理一下。
I.Cost的計算
J=−1m∑i=0m(y(i)log(a[2](i))+(1−y(i))log(1−a[2](i)))(13)$\begin{array}{}\text{(13)}& J=-\frac{1}{m}\sum _{i=0}^m(y^{(i)}\log \left(a^{[2](i)}\right)+(1-y^{(}\end{array}$

i))log⁡(1−a[2](i)))
用點乘：

    logprobs = np.multiply(np.log(A2),Y)+np.multiply(np.log(1-A2),1-Y)
    cost = - np.sum(logprobs)/m 

II.gradient的計算

    # Backward propagation: calculate dW1, db1, dW2, db2. 
    ### START CODE HERE ### (≈ 6 lines of code, corresponding to 6 equations on slide above)
 

    #按單樣本進行簡化考量，引數的梯度的形應該與引數的形一致，如：dZ2.shape==Z2.shape=（1,1）;dW1.shape==W1=(4,2)
    dZ2 = A2-Y  # A2(1,1)-Y(1,1)=dZ2(1,1)
    dW2 = np.dot(dZ2,A1.T)/m   #dZ2(1,1)*A1.T(1,4)=dW2(1,4),==>使用矩陣乘!
    db2 = np.sum(dZ2,axis=1,keepdims=True)/m   #np.sum(dW2(1,4))/m=db2(1,1)
    dZ1 = np.multiply(np.multiply
 
(W2.T,dZ2),1 - np.power(A1, 2))  #輸出dZ1=(4,1)。W2.T(4,1)×dZ2(1,1)  [1 - np.power(A1, 2)],所以內外兩層的乘號都是點乘。
    dW1 = np.dot(dZ1,X.T)/m   #dZ1(4,1)*X.T(1,2)=dW1(4,2)===>使用矩陣乘
    db1 = np.sum(dZ1,axis=1,keepdims=True)/m    
    ### END CODE HERE ###

是否使用點乘還是矩陣乘，有一個判別方法，把輸入的shape和應該輸出的shape提前標出來，那麼比較容易判別用點乘還是矩陣乘。輸入的形與輸出一致，那麼肯定是點乘，其他情況是用矩陣乘。如果標出的形還不好判別，可以進一步畫出是行還是列用來表達單個樣本中的n個特徵。或者只按一條樣本的shape來進行判斷。如上。

Planar data classification with one hidden layer

Welcome to your week 3 programming assignment. It’s time to build your first neural network, which will have a hidden layer. You will see a big difference between this model and the one you implemented using logistic regression.

You will learn how to:
- Implement a 2-class classification neural network with a single hidden layer
- Use units with a non-linear activation function, such as tanh
- Compute the cross entropy loss
- Implement forward and backward propagation

1 - Packages

Let’s first import all the packages that you will need during this assignment.
- numpy is the fundamental package for scientific computing with Python.
- sklearn provides simple and efficient tools for data mining and data analysis.
- matplotlib is a library for plotting graphs in Python.
- testCases provides some test examples to assess the correctness of your functions
- planar_utils provide various useful functions used in this assignment

# Package imports
import numpy as np
import matplotlib.pyplot as plt
from testCases_v2 import *
import sklearn
import sklearn.datasets
import sklearn.linear_model
from planar_utils import plot_decision_boundary, sigmoid, load_planar_dataset, load_extra_datasets

%matplotlib inline

np.random.seed(1) # set a seed so that the results are consistent

/opt/conda/lib/python3.5/site-packages/matplotlib/font_manager.py:273: UserWarning: Matplotlib is building the font cache using fc-list. This may take a moment.
  warnings.warn('Matplotlib is building the font cache using fc-list. This may take a moment.')
/opt/conda/lib/python3.5/site-packages/matplotlib/font_manager.py:273: UserWarning: Matplotlib is building the font cache using fc-list. This may take a moment.
  warnings.warn('Matplotlib is building the font cache using fc-list. This may take a moment.')

2 - Dataset

First, let’s get the dataset you will work on. The following code will load a “flower” 2-class dataset into variables X and Y.

X, Y = load_planar_dataset()

Visualize the dataset using matplotlib. The data looks like a “flower” with some red (label y=0) and some blue (y=1) points. Your goal is to build a model to fit this data.

# Visualize the data:
plt.scatter(X[0, :], X[1, :], c=Y, s=40, cmap=plt.cm.Spectral);

You have:
- a numpy-array (matrix) X that contains your features (x1, x2)
- a numpy-array (vector) Y that contains your labels (red:0, blue:1).

Lets first get a better sense of what our data is like.

Exercise: How many training examples do you have? In addition, what is the shape of the variables X and Y?

Hint: How do you get the shape of a numpy array? (help)

### START CODE HERE ### (≈ 3 lines of code)
shape_X = X.shape
shape_Y = Y.shape
m = shape_X[1]  # training set size
### END CODE HERE ###

print ('The shape of X is: ' + str(shape_X))
print ('The shape of Y is: ' + str(shape_Y))
print ('I have m = %d training examples!' % (m))

The shape of X is: (2, 400)
The shape of Y is: (1, 400)
I have m = 400 training examples!

Expected Output:

**shape of X**	(2, 400)
**shape of Y**	(1, 400)
**m**	400

3 - Simple Logistic Regression

Before building a full neural network, lets first see how logistic regression performs on this problem. You can use sklearn’s built-in functions to do that. Run the code below to train a logistic regression classifier on the dataset.

# Train the logistic regression classifier
clf = sklearn.linear_model.LogisticRegressionCV();
clf.fit(X.T, Y.T);

/opt/conda/lib/python3.5/site-packages/sklearn/utils/validation.py:515: DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples, ), for example using ravel().
  y = column_or_1d(y, warn=True)

You can now plot the decision boundary of these models. Run the code below.

# Plot the decision boundary for logistic regression
plot_decision_boundary(lambda x: clf.predict(x), X, Y)
plt.title("Logistic Regression")

# Print accuracy
LR_predictions = clf.predict(X.T)
print ('Accuracy of logistic regression: %d ' % float((np.dot(Y,LR_predictions) + np.dot(1-Y,1-LR_predictions))/float(Y.size)*100) +
       '% ' + "(percentage of correctly labelled datapoints)")

Accuracy of logistic regression: 47 % (percentage of correctly labelled datapoints)

Expected Output:

**Accuracy**

47%

Interpretation: The dataset is not linearly separable, so logistic regression doesn’t perform well. Hopefully a neural network will do better. Let’s try this now!

4 - Neural Network model

Logistic regression did not work well on the “flower dataset”. You are going to train a Neural Network with a single hidden layer.

Here is our model:

Mathematically:

For one example x(i)$x^{(i)}$:

z[1](i)=W[1]x(i)+b[1](1)$$\begin{array}{}\text{(1)}& z^{[1](i)}=W^{[1]}{x}^{(i)}+b^{[1]}\end{array}$$
a[1](i)=tanh(z[1](i))(2)$$\begin{array}{}\text{(2)}& a^{[1](i)}=\tanh (z^{[1](i)})\end{array}$$
z[2](i)=W[2]a[1](i)+b[2](3)$$\begin{array}{}\text{(3)}& z^{[2](i)}=W^{[2]}{a}^{[1](i)}+b^{[2]}\end{array}$$
y^(i)=a[2](i)=σ(z[2](i))(4)$$\begin{array}{}\text{(4)}& {\hat{y}}^{(i)}=a^{[2](i)}=\sigma (z^{[2](i)})\end{array}$$
y(i)prediction={

相關推薦

吳恩達.深度學習系列-C1神經網路與深度學習-w3-（作業：一個隱藏層進行二維資料分類）

前言 **注意：coursera要求不要在網際網路公佈自己的作業。如果你在學習這個課程，建議你進入課程系統自行完成作業。使用邏輯迴歸作為一個最簡單的類似神經網路來進行影象判別。我覺得程式碼有參考和保留的意義。v 使用一個 2×4×1的網路來對資料進

吳恩達.深度學習系列-C1神經網路與深度學習-W3淺層神經網路

詞彙 justification n. 理由；辯護；認為有理，認為正當；釋罪 prime n.角分號（g’(z)） shallow 淺層 學習目標 Understand hidden units and hidden layers

吳恩達.深度學習系列-C1神經網路與深度學習-W2-（作業：神經網路思想的邏輯迴歸）

注意：coursera要求不要在網際網路公佈自己的作業。如果你在學習這個課程，建議你進入課程系統自行完成作業。使用邏輯迴歸作為一個最簡單的類似神經網路來進行影象判別。我覺得程式碼有參考和保留的意義。 Logistic Regression with a N

吳恩達.深度學習系列-C1神經網路與深度學習-w4-（ 作業：建立神經網路）

前言 注意：coursera要求不要在網際網路公佈自己的作業。如果你在學習這個課程，建議你進入課程系統自行完成作業。我覺得程式碼有參考和保留的意義。 本週的作業包含兩個部分。Building your Deep Neural Network， De

吳恩達《神經網路與深度學習》課程筆記歸納（二）-- 神經網路基礎之邏輯迴歸

上節課我們主要對深度學習（Deep Learning）的概念做了簡要的概述。我們先從房價預測的例子出發，建立了標準的神經網路（Neural Network）模型結構。然後從監督式學習入手，介紹了Standard NN，CNN和RNN三種不同的神經網路模型。接著介紹了兩種不

吳恩達《神經網路與深度學習》課程筆記歸納（三）-- 神經網路基礎之Python與向量化

上節課我們主要介紹了邏輯迴歸，以輸出概率的形式來處理二分類問題。我們介紹了邏輯迴歸的Cost function表示式，並使用梯度下降演算法來計算最小化Cost function時對應的引數w和b。通過計算圖的方式來講述了神經網路的正向傳播和反向傳播兩個過程。本節課我們將來

Coursera 吳恩達《神經網路與深度學習》第三週程式設計作業

# Package imports import numpy as np import matplotlib.pyplot as plt from testCases import * import sklearn import sklearn.datasets impo

吳恩達神經網路與深度學習——神經網路基礎習題1

python numpy 基礎 1.使用iPython Notebooks 2.使用numpy 函式 and numpy矩陣或向量操作 3.理解"broadcasting" 4.向量化程式碼 用numpy建立一個基礎函式 sigmoid 函式 math庫

吳恩達神經網路與深度學習——神經網路基礎習題2

神經網路思維的邏輯迴歸 1.初始化引數 2.計算代價函式及其導數 3.使用梯度下降 判斷影象上是否有貓 影象預處理 問題敘述 你得到了一個數據集(“data.h5”)，包含: -標記為cat ( y = 1 )或非cat ( y = 0 )的m個訓練集 -標

吳恩達神經網路與深度學習——深度神經網路習題4：DNN分類應用

吳恩達神經網路與深度學習——深度神經網路習題4 DNN影象分類應用 將上次實現的DNN應用於貓分類問題 包 import time import numpy as np import h5py import matplotlib.pyplot as plt i

Coursera吳恩達《神經網路與深度學習》課程筆記（2）-- 神經網路基礎之邏輯迴歸

上節課我們主要對深度學習（Deep Learning）的概念做了簡要的概述。我們先從房價預測的例子出發，建立了標準的神經網路（Neural Network）模型結構。然後從監督式學習入手，介紹了Standard NN，CNN和RNN三種不同的神經網路模型。接

吳恩達 深度學習 神經網路與深度學習 神經網路基礎 課程作業

Part 1：Python Basics with Numpy (optional assignment) 1 - Building basic functions with numpy Numpy is the main package for scientific c

機器學習與深度學習系列連載： 第二部分 深度學習（十二）卷積神經網路 3 經典的模型（LeNet-5，AlexNet ，VGGNet，GoogLeNet，ResNet）

卷積神經網路 3 經典的模型 經典的卷積神經網路模型是我們學習CNN的利器，不光是學習原理、架構、而且經典模型的超引數、引數，都是我們做遷移學習最好的源材料之一。 1. LeNet-5 [LeCun et al., 1998] 我們還是從CNN之父，LeCun大神在98年提出的模

《神經網路與深度學習(美)MichaelNielsen著》中英文版PDF+原始碼+吳岸城版PDF

資源連結：https://pan.baidu.com/s/1-v89VftxGHdzd4WAp2n6xQ《神經網路與深度學習（美）Michael Nielsen 著》中文版PDF+英文版PDF+原始碼以及《神經網路與深度學習 》（吳岸城版）中文版PDF，206頁，帶書籤目錄；英文版PDF，292頁，帶書籤目錄

吳恩達DeepLearning.ai系列課後程式設計題實踐總結week3

# -*- coding: utf-8 -*- """ Created on Sun Sep 24 09:09:10 2017 @author: Jay """ import numpy as np import matplotlib.pyplot as p

深度學習系列——關於神經網路理解的總結

　　因為課題的需要，最近在學習深度學習方面的知識，因為是初學，博文中可能會有錯誤和不嚴謹的地方，歡迎大家批評指正、互相交流，好了言歸正傳。 　　目前在人工智慧和大資料方向炒的最火的就是深度學習，深度學習是神經網路的一個大的分支，深度學習的基本結構是深度神經網路

【機器學習 吳恩達】CS229課程筆記notes4翻譯-Part VI學習理論

CS229課程筆記 吳恩達 Part VI 學習理論 1 偏差/方差權衡         當我們談論線性迴歸，我們討論它是否擬合一個簡單的模型，比如線性模型“y=θ0+θ1x”，或者更復雜的模型，比如多項式模型“y=θ0+θ1x+θ2x2+θ3x3+θ

神經網路與深度學習課程筆記（第三、四周）

接著學習吳恩達老師第三、四周的課程。（圖片均來自吳恩達老師課件）   第三週 1. 普通的淺層網路                        

神經網路與深度學習課程筆記（第一、二週）

   之前結束了吳恩達老師的機器學習的15節課，雖然看得很艱辛，但是也算是對於機器學習的理論有了一個入門，很多的東西需要不斷的思考以及總結。現在開始深度學習的學習，仍然做課程筆記，記錄自己的一些收穫以及思考。   第一週 1. ReLU （Rectified

深度學習介紹（下）【Coursera deeplearning.ai 神經網路與深度學習】

1. shallow NN 淺層神經網路 2. 為什麼需要activation function？ 如下圖所示，如果不用啟用函式，那麼我們一直都在做線性運算，對於複雜問題沒有意義。linear 其實也算一類啟用函式，但是一般只用在機器學習的迴歸問題，例如預測房價等。 3.