吳恩達【深度學習工程師】專項課程包含以下五門課程：

1、神經網路和深度學習；
2、改善深層神經網路：超引數除錯、正則化以及優化；
3、結構化機器學習專案；
4、卷積神經網路；
5、序列模型。

今天介紹《神經網路與深度學習》系列第二講：神經網路基礎（上）。

主要內容：

1、二分類問題；

2、邏輯迴歸及其對應的代價函式形式；

3、用計算圖描述神經網路的正向、反向傳播過程；

4、在邏輯迴歸中使用梯度下降演算法。

1、二分類問題

二分類就是輸出 y 只有離散值 { 0, 1 }或者 { -1, 1 }。

以一個影象識別問題為例，判斷圖片中是否有貓存在，0 代表 non cat，1 代表 cat。

一般來說，彩色圖片包含RGB三個通道。我們首先要將圖片輸入x（維度是（64，64，3））轉化為一維的特徵向量。方法是每個通道逐行提取，最後連線起來，轉化後的輸入特徵向量維度為（64x64x3=12288）。此特徵向量x是列向量，維度一般記為nx。

如果訓練樣本共有m張圖片，那麼整個訓練樣本X組成了矩陣，維度是（nx，m）。

注意，這裡矩陣X的行nx代表了每個樣本x(i)特徵個數，列m代表了樣本個數。

所有訓練樣本的輸出Y也組成了一維的行向量，寫成矩陣的形式後，它的維度就是（1，m）。

2、邏輯迴歸

如何使用邏輯迴歸來解決二分類問題？

邏輯迴歸中，預測值h

^=P(y=1|x)表示為1的概率，與二分類不同，取值範圍在[0,1]之間。

使用線性模型，引入權重引數w和偏置引數b。權重w的維度是（nx，1），b是一個常數項。這樣，邏輯迴歸的線性預測可以寫成：

y^=wTx+b

上式的線性輸出區間為整個實數範圍，而邏輯迴歸要求輸出範圍在[0,1]之間，所以需要引入Sigmoid函式對輸出進行處理：

y^=Sigmoid(wTx+b)=σ(wTx+b)

其中，Sigmoid函式：

Sigmoid(z)=11+e−z

在Sigmoid函式中，當z值很大時，函式值趨向於1；當z值很小時，函式值趨向於0。且當z=0時，函式值為0.5。

Sigmoid函式的一階導數可以用其自身表示：

σ′(z)=σ(z)(1−σ(z))

在邏輯迴歸中，權重引數 w 和偏置引數 b 需要通過迭代訓練得到。因此，我們需要定義一個代價函式。通過優化代價函式，得到對應的w和b。

對於m個訓練樣本，我們通常使用上標來表示對應的樣本。例如(x(i),y(i))表示第i個樣本。

如何定義所有m個樣本的代價函式呢？

從單個樣本來講，我們希望該樣本的預測值y^與真實值y越相似越好。我們把單個樣本的代價函式用Loss function來表示，我們可以構建一種 Loss function 凸函式，如下所示：

L(y^,y)=−(ylogy^+(1−y)log(1−y

相關推薦

吳恩達【深度學習工程師】 04.卷積神經網絡 第三周目標檢測 （1）基本的對象檢測算法

元素 需要 有關 卷積 訓練 特定 步長 來看 選擇 該筆記介紹的是《卷積神經網絡》系列第三周：目標檢測（1）基本的對象檢測算法 主要內容有： 1.目標定位 2.特征點檢測 3.目標檢測 目標定位 使用算法判斷圖片中是不是目標物體，如果是還要再圖片中標出其位置並

吳恩達【深度學習工程師】學習筆記（二）

吳恩達【深度學習工程師】專項課程包含以下五門課程： 1、神經網路和深度學習； 2、改善深層神經網路：超引數除錯、正則化以及優化； 3、結構化機器學習專案； 4、卷積神經網路； 5、序列模型。 今天介紹《神經網路與深度學習》系列第二講：神經網

吳恩達【深度學習工程師】學習筆記（十）

吳恩達【深度學習工程師】專項課程包含以下五門課程： 1、神經網路和深度學習； 2、改善深層神經網路：超引數除錯、正則化以及優化； 3、結構化機器學習專案； 4、卷積神經網路； 5、序列模型。 今天介紹《結構化機器學習專案》系列第二講：機器學習策略（2）。 主要內容：

吳恩達【深度學習工程師】學習筆記（一）

吳恩達【深度學習工程師】專項課程包含以下五門課程： 1、神經網路和深度學習； 2、改善深層神經網路：超引數除錯、正則化以及優化； 3、結構化機器學習專案； 4、卷積神經網路； 5、序列模型。 今天介紹《神經網路與深度學習》系列第一講：深度學習概述。 主要內容：

【第13天】Java集合（二）---手動實現ArrayList及其他List介面實現的集合

1 ArrayList（續） 1.1 擴容與縮容 1.2 手動實現ArrayList 2 Vector 3 LinkedList 4 Stack 1 ArrayList（續） 1.1

【Java程式設計思想】讀書筆記（一）第一章---第五章

Java程式設計思想（第四版）學習筆記 第一章---第五章 第一章：物件導論 1.1抽象過程 1. 2訪問控制 第二章：一切都是物件 2. 1用引用操縱物件 2. 2基本型別 第三章：操作符

【PP生產訂單】入門介紹（二）

接著之前一篇繼續往下，講了生產訂單的擡頭基本資訊和元件資訊，下面就到工序資訊（Routing）了。 這裡定義的是生產一個物品需要經過哪些具體的工序，如上圖，會經過三個工序。 元件：表明該道工序有進行投料。 擡頭中的“預期產量差異”是什麼意思呢？ 加入訂單量

【機房收費系統】——問題總結（二）

接著上次的總結，我們繼續哈！ 問題五：報表 由於我的進度較慢，所以我做到這塊的時候已經看到很多人的技術文章了，其中我覺得昌哥的博文最是清楚了。關於報表，我的印象最深刻的是動態資料這塊。週報表中有時間段

學習javscript函數筆記（二）

隨機 復用 保存 不能 數值 信息隱藏 ESS 聲明變量 如何 定義： 函數包含一組語句，他們是JavaScript的基礎模塊單元，用於代碼復用、信息隱藏和組合調用。函數用於指定對象的行為。 1.函數對象 　JavaScript中的函數就是對象，函數對象連接到Funct

學習ES6的課堂筆記（二）

2018.10.11 星期四 複習： 一、集合： 陣列 arr = [1,2,3,2,1] set: 無序不可重複的集合、容器 **1)例項化** let set = new Set(); let set = new Set([1,2,3,3,2]

【吳恩達 Coursera深度學習課程】 Neural Networks and Deep Learning 第一週課後習題

因為這學期選了深度學習的課程，所以也會自學一下相關內容，在網上選擇了吳恩達的深度學習來進行學習，首先是第一門課程，Neural Networks and Deep Learning。第一週的內容是深度學習概論，課後習題為十個選擇題，個人觀點，僅供參考，歡迎指正。這題問為什麼稱

吳恩達：深度學習作業2相關

.com image 就是 訓練數據 自己 包括 數據量 很好 我們 深度學習小知識點：（欠擬合與過擬合） 1.出現欠擬合應該怎樣解決：（欠擬合就是模型沒能很好的捕捉到數據的特征，不能很好地擬合數據） 欠擬合的情況如圖所示： a.增加特征項，出現欠擬合的原因一般是特征項不

吳恩達《深度學習》第一門課（1）深度學習引言

數據規模 梯度 神經網絡 以及 應該 精確 構建 關於 http 1.1歡迎 主要講了五門課的內容： 第一門課：神經網絡基礎，構建網絡等； 第二門課：神經網絡的訓練技巧； 第三門課：構建機器學習系統的一些策略，下一步該怎麽走（吳恩達老師新書《Machine Learning

吳恩達《深度學習》第一門課（4）深層神經網絡

加網 分享 傳遞 height 經驗 技術分享 image 進行 sig 4.1深層神經網絡 （1）到底是深層還是淺層是一個相對的概念，不必太糾結，以下是一個四層的深度神經網絡： （2）一些符號定義： a[0]=x（輸入層也叫做第0層） L=4：表示網絡的層數 g:表示激

吳恩達《深度學習》第四門課（1）卷積神經網絡

圖像分割 1.5 共享 信號處理 soft 沒有 樣本 填充 單元 1.1計算機視覺 （1）計算機視覺的應用包括圖像分類、目標檢測、圖像分割、風格遷移等，下圖展示了風格遷移案例： （2）圖像的特征量非常之大，比如一個3通道的1000*1000的照片，其特征為3*1000*

吳恩達《深度學習》第四門課（2）卷積神經網絡：實例探究

之一 所有 展示 數據擴充 簡介 設置 假設 通道 開源 2.1為什麽要進行實例探究 （1）就跟學編程一樣，先看看別人怎麽寫的，可以模仿。 （2）在計算機視覺中一個有用的模型，，用在另一個業務中也一般有效，所以可以借鑒。 （3）本周會介紹的一些卷積方面的經典網絡經典的包括：

吳恩達《深度學習》第五門課（2）自然語言處理與詞嵌入

星級 技術 ima lac 個數 應該 ras 時有 根據 2.1詞匯表征 （1）使用one-hot方法表示詞匯有兩個主要的缺點，以10000個詞為例，每個單詞需要用10000維來表示，而且只有一個數是零，其他維度都是1，造成表示非常冗余，存儲量大；第二每個單詞表示的向量相

深度學習，周志華，機器學習，西瓜書，TensorFlow，Google，吳軍，數學之美，李航，統計學習方法，吳恩達，深度學習筆記，pdf下載

1. 機器學習入門經典，李航《統計學習方法》 2. 周志華的《機器學習》pdf 3.《數學之美》吳軍博士著pdf 4. Tensorflow 實戰Google深度學習框架.pdf 5.《TensorFlow實戰》黃文堅 高清完整PDF  6. 復旦大

吳恩達Coursera深度學習課程 course4-week1 Convolutional Neural Networks & CNN Application 作業

                                          &

吳恩達Coursera深度學習課程 course2-week3 超引數除錯和Batch Norm及框架 作業

                                          &