1. 程式人生 > >吳恩達【深度學習工程師】學習筆記(二)

吳恩達【深度學習工程師】學習筆記(二)

吳恩達【深度學習工程師】專項課程包含以下五門課程:

1、神經網路和深度學習;
2、改善深層神經網路:超引數除錯、正則化以及優化;
3、結構化機器學習專案;
4、卷積神經網路;
5、序列模型。

今天介紹《神經網路與深度學習》系列第二講:神經網路基礎(上)。

主要內容:

1、二分類問題

2、邏輯迴歸及其對應的代價函式形式;

3、用計算圖描述神經網路的正向、反向傳播過程;

4、在邏輯迴歸中使用梯度下降演算法。

1、二分類問題

二分類就是輸出 y 只有離散值 { 0, 1 }或者 { -1, 1 }。

以一個影象識別問題為例,判斷圖片中是否有貓存在,0 代表 non cat,1 代表 cat。

這裡寫圖片描述

一般來說,彩色圖片包含RGB三個通道。我們首先要將圖片輸入x(維度是(64,64,3))轉化為一維的特徵向量。方法是每個通道逐行提取,最後連線起來,轉化後的輸入特徵向量維度為(64x64x3=12288)。此特徵向量x是列向量,維度一般記為nx

如果訓練樣本共有m張圖片,那麼整個訓練樣本X組成了矩陣,維度是(nx,m)。

注意,這裡矩陣X的行nx代表了每個樣本x(i)特徵個數,列m代表了樣本個數。

所有訓練樣本的輸出Y也組成了一維的行向量,寫成矩陣的形式後,它的維度就是(1,m)。

2、邏輯迴歸

如何使用邏輯迴歸來解決二分類問題?

邏輯迴歸中,預測值h

^=P(y=1|x)表示為1的概率,與二分類不同,取值範圍在[0,1]之間。

使用線性模型,引入權重引數w和偏置引數b。權重w的維度是(nx,1),b是一個常數項。這樣,邏輯迴歸的線性預測可以寫成:

y^=wTx+b

上式的線性輸出區間為整個實數範圍,而邏輯迴歸要求輸出範圍在[0,1]之間,所以需要引入Sigmoid函式對輸出進行處理:

y^=Sigmoid(wTx+b)=σ(wTx+b)

其中,Sigmoid函式:

Sigmoid(z)=11+ez

在Sigmoid函式中,當z值很大時,函式值趨向於1;當z值很小時,函式值趨向於0。且當z=0時,函式值為0.5。

Sigmoid函式的一階導數可以用其自身表示:

σ(z)=σ(z)(1σ(z))

在邏輯迴歸中,權重引數 w 和偏置引數 b 需要通過迭代訓練得到。因此,我們需要定義一個代價函式。通過優化代價函式,得到對應的w和b。

對於m個訓練樣本,我們通常使用上標來表示對應的樣本。例如(x(i),y(i))表示第i個樣本。

如何定義所有m個樣本的代價函式呢?

從單個樣本來講,我們希望該樣本的預測值y^與真實值y越相似越好。我們把單個樣本的代價函式用Loss function來表示,我們可以構建一種 Loss function 凸函式,如下所示:

L(y^,y)=(ylogy^+(1y)log(1y

相關推薦

深度學習工程師 04.卷積神經網絡 第三周目標檢測 1基本的對象檢測算法

元素 需要 有關 卷積 訓練 特定 步長 來看 選擇 該筆記介紹的是《卷積神經網絡》系列第三周:目標檢測(1)基本的對象檢測算法 主要內容有: 1.目標定位 2.特征點檢測 3.目標檢測 目標定位 使用算法判斷圖片中是不是目標物體,如果是還要再圖片中標出其位置並

深度學習工程師學習筆記

吳恩達【深度學習工程師】專項課程包含以下五門課程: 1、神經網路和深度學習; 2、改善深層神經網路:超引數除錯、正則化以及優化; 3、結構化機器學習專案; 4、卷積神經網路; 5、序列模型。 今天介紹《神經網路與深度學習》系列第二講:神經網

深度學習工程師學習筆記

吳恩達【深度學習工程師】專項課程包含以下五門課程: 1、神經網路和深度學習; 2、改善深層神經網路:超引數除錯、正則化以及優化; 3、結構化機器學習專案; 4、卷積神經網路; 5、序列模型。 今天介紹《結構化機器學習專案》系列第二講:機器學習策略(2)。 主要內容:

深度學習工程師學習筆記

吳恩達【深度學習工程師】專項課程包含以下五門課程: 1、神經網路和深度學習; 2、改善深層神經網路:超引數除錯、正則化以及優化; 3、結構化機器學習專案; 4、卷積神經網路; 5、序列模型。 今天介紹《神經網路與深度學習》系列第一講:深度學習概述。 主要內容:

第13天Java集合---手動實現ArrayList及其他List介面實現的集合

1 ArrayList(續) 1.1 擴容與縮容 1.2 手動實現ArrayList 2 Vector 3 LinkedList 4 Stack 1 ArrayList(續) 1.1

Java程式設計思想讀書筆記第一章---第五章

Java程式設計思想(第四版)學習筆記 第一章---第五章 第一章:物件導論 1.1抽象過程 1. 2訪問控制 第二章:一切都是物件 2. 1用引用操縱物件 2. 2基本型別 第三章:操作符

PP生產訂單入門介紹

接著之前一篇繼續往下,講了生產訂單的擡頭基本資訊和元件資訊,下面就到工序資訊(Routing)了。 這裡定義的是生產一個物品需要經過哪些具體的工序,如上圖,會經過三個工序。 元件:表明該道工序有進行投料。 擡頭中的“預期產量差異”是什麼意思呢? 加入訂單量

機房收費系統——問題總結

接著上次的總結,我們繼續哈! 問題五:報表 由於我的進度較慢,所以我做到這塊的時候已經看到很多人的技術文章了,其中我覺得昌哥的博文最是清楚了。關於報表,我的印象最深刻的是動態資料這塊。週報表中有時間段

學習javscript函數筆記

隨機 復用 保存 不能 數值 信息隱藏 ESS 聲明變量 如何 定義: 函數包含一組語句,他們是JavaScript的基礎模塊單元,用於代碼復用、信息隱藏和組合調用。函數用於指定對象的行為。 1.函數對象  JavaScript中的函數就是對象,函數對象連接到Funct

學習ES6的課堂筆記

2018.10.11 星期四 複習: 一、集合: 陣列 arr = [1,2,3,2,1] set: 無序不可重複的集合、容器 **1)例項化** let set = new Set(); let set = new Set([1,2,3,3,2]

Coursera深度學習課程 Neural Networks and Deep Learning 第一週課後習題

因為這學期選了深度學習的課程,所以也會自學一下相關內容,在網上選擇了吳恩達的深度學習來進行學習,首先是第一門課程,Neural Networks and Deep Learning。第一週的內容是深度學習概論,課後習題為十個選擇題,個人觀點,僅供參考,歡迎指正。這題問為什麼稱

深度學習作業2相關

.com image 就是 訓練數據 自己 包括 數據量 很好 我們 深度學習小知識點:(欠擬合與過擬合) 1.出現欠擬合應該怎樣解決:(欠擬合就是模型沒能很好的捕捉到數據的特征,不能很好地擬合數據) 欠擬合的情況如圖所示: a.增加特征項,出現欠擬合的原因一般是特征項不

深度學習》第一門課1深度學習引言

數據規模 梯度 神經網絡 以及 應該 精確 構建 關於 http 1.1歡迎 主要講了五門課的內容: 第一門課:神經網絡基礎,構建網絡等; 第二門課:神經網絡的訓練技巧; 第三門課:構建機器學習系統的一些策略,下一步該怎麽走(吳恩達老師新書《Machine Learning

深度學習》第一門課4深層神經網絡

加網 分享 傳遞 height 經驗 技術分享 image 進行 sig 4.1深層神經網絡 (1)到底是深層還是淺層是一個相對的概念,不必太糾結,以下是一個四層的深度神經網絡: (2)一些符號定義: a[0]=x(輸入層也叫做第0層) L=4:表示網絡的層數 g:表示激

深度學習》第四門課1卷積神經網絡

圖像分割 1.5 共享 信號處理 soft 沒有 樣本 填充 單元 1.1計算機視覺 (1)計算機視覺的應用包括圖像分類、目標檢測、圖像分割、風格遷移等,下圖展示了風格遷移案例: (2)圖像的特征量非常之大,比如一個3通道的1000*1000的照片,其特征為3*1000*

深度學習》第四門課2卷積神經網絡:實例探究

之一 所有 展示 數據擴充 簡介 設置 假設 通道 開源 2.1為什麽要進行實例探究 (1)就跟學編程一樣,先看看別人怎麽寫的,可以模仿。 (2)在計算機視覺中一個有用的模型,,用在另一個業務中也一般有效,所以可以借鑒。 (3)本周會介紹的一些卷積方面的經典網絡經典的包括:

深度學習》第五門課2自然語言處理與詞嵌入

星級 技術 ima lac 個數 應該 ras 時有 根據 2.1詞匯表征 (1)使用one-hot方法表示詞匯有兩個主要的缺點,以10000個詞為例,每個單詞需要用10000維來表示,而且只有一個數是零,其他維度都是1,造成表示非常冗余,存儲量大;第二每個單詞表示的向量相

深度學習,周志華,機器學習,西瓜書,TensorFlow,Google,軍,數學之美,李航,統計學習方法,深度學習筆記,pdf下載

1. 機器學習入門經典,李航《統計學習方法》 2. 周志華的《機器學習》pdf 3.《數學之美》吳軍博士著pdf 4. Tensorflow 實戰Google深度學習框架.pdf 5.《TensorFlow實戰》黃文堅 高清完整PDF  6. 復旦大

Coursera深度學習課程 course2-week3 超引數除錯和Batch Norm及框架 作業

                                          &