吳恩達【深度學習工程師】學習筆記(二)
吳恩達【深度學習工程師】專項課程包含以下五門課程:
1、神經網路和深度學習;
2、改善深層神經網路:超引數除錯、正則化以及優化;
3、結構化機器學習專案;
4、卷積神經網路;
5、序列模型。
今天介紹《神經網路與深度學習》系列第二講:神經網路基礎(上)。
主要內容:
1、二分類問題;
2、邏輯迴歸及其對應的代價函式形式;
3、用計算圖描述神經網路的正向、反向傳播過程;
4、在邏輯迴歸中使用梯度下降演算法。
1、二分類問題
二分類就是輸出 y 只有離散值 { 0, 1 }或者 { -1, 1 }。
以一個影象識別問題為例,判斷圖片中是否有貓存在,0 代表 non cat,1 代表 cat。
一般來說,彩色圖片包含RGB三個通道。我們首先要將圖片輸入x(維度是(64,64,3))轉化為一維的特徵向量。方法是每個通道逐行提取,最後連線起來,轉化後的輸入特徵向量維度為(64x64x3=12288)。此特徵向量x是列向量,維度一般記為nx。
如果訓練樣本共有m張圖片,那麼整個訓練樣本X組成了矩陣,維度是(
注意,這裡矩陣X的行
所有訓練樣本的輸出Y也組成了一維的行向量,寫成矩陣的形式後,它的維度就是(1,m)。
2、邏輯迴歸
如何使用邏輯迴歸來解決二分類問題?
邏輯迴歸中,預測值
使用線性模型,引入權重引數w和偏置引數b。權重w的維度是(
上式的線性輸出區間為整個實數範圍,而邏輯迴歸要求輸出範圍在[0,1]之間,所以需要引入Sigmoid函式對輸出進行處理:
其中,Sigmoid函式:
在Sigmoid函式中,當z值很大時,函式值趨向於1;當z值很小時,函式值趨向於0。且當z=0時,函式值為0.5。
Sigmoid函式的一階導數可以用其自身表示:
在邏輯迴歸中,權重引數 w 和偏置引數 b 需要通過迭代訓練得到。因此,我們需要定義一個代價函式。通過優化代價函式,得到對應的w和b。
對於m個訓練樣本,我們通常使用上標來表示對應的樣本。例如
如何定義所有m個樣本的代價函式呢?
從單個樣本來講,我們希望該樣本的預測值
相關推薦
吳恩達【深度學習工程師】 04.卷積神經網絡 第三周目標檢測 (1)基本的對象檢測算法
元素 需要 有關 卷積 訓練 特定 步長 來看 選擇 該筆記介紹的是《卷積神經網絡》系列第三周:目標檢測(1)基本的對象檢測算法 主要內容有: 1.目標定位 2.特征點檢測 3.目標檢測 目標定位 使用算法判斷圖片中是不是目標物體,如果是還要再圖片中標出其位置並
吳恩達【深度學習工程師】學習筆記(二)
吳恩達【深度學習工程師】專項課程包含以下五門課程: 1、神經網路和深度學習; 2、改善深層神經網路:超引數除錯、正則化以及優化; 3、結構化機器學習專案; 4、卷積神經網路; 5、序列模型。 今天介紹《神經網路與深度學習》系列第二講:神經網
吳恩達【深度學習工程師】學習筆記(十)
吳恩達【深度學習工程師】專項課程包含以下五門課程: 1、神經網路和深度學習; 2、改善深層神經網路:超引數除錯、正則化以及優化; 3、結構化機器學習專案; 4、卷積神經網路; 5、序列模型。 今天介紹《結構化機器學習專案》系列第二講:機器學習策略(2)。 主要內容:
吳恩達【深度學習工程師】學習筆記(一)
吳恩達【深度學習工程師】專項課程包含以下五門課程: 1、神經網路和深度學習; 2、改善深層神經網路:超引數除錯、正則化以及優化; 3、結構化機器學習專案; 4、卷積神經網路; 5、序列模型。 今天介紹《神經網路與深度學習》系列第一講:深度學習概述。 主要內容:
【第13天】Java集合(二)---手動實現ArrayList及其他List介面實現的集合
1 ArrayList(續) 1.1 擴容與縮容 1.2 手動實現ArrayList 2 Vector 3 LinkedList 4 Stack 1 ArrayList(續) 1.1
【Java程式設計思想】讀書筆記(一)第一章---第五章
Java程式設計思想(第四版)學習筆記 第一章---第五章 第一章:物件導論 1.1抽象過程 1. 2訪問控制 第二章:一切都是物件 2. 1用引用操縱物件 2. 2基本型別 第三章:操作符
【PP生產訂單】入門介紹(二)
接著之前一篇繼續往下,講了生產訂單的擡頭基本資訊和元件資訊,下面就到工序資訊(Routing)了。 這裡定義的是生產一個物品需要經過哪些具體的工序,如上圖,會經過三個工序。 元件:表明該道工序有進行投料。 擡頭中的“預期產量差異”是什麼意思呢? 加入訂單量
【機房收費系統】——問題總結(二)
接著上次的總結,我們繼續哈! 問題五:報表 由於我的進度較慢,所以我做到這塊的時候已經看到很多人的技術文章了,其中我覺得昌哥的博文最是清楚了。關於報表,我的印象最深刻的是動態資料這塊。週報表中有時間段
學習javscript函數筆記(二)
隨機 復用 保存 不能 數值 信息隱藏 ESS 聲明變量 如何 定義: 函數包含一組語句,他們是JavaScript的基礎模塊單元,用於代碼復用、信息隱藏和組合調用。函數用於指定對象的行為。 1.函數對象 JavaScript中的函數就是對象,函數對象連接到Funct
學習ES6的課堂筆記(二)
2018.10.11 星期四 複習: 一、集合: 陣列 arr = [1,2,3,2,1] set: 無序不可重複的集合、容器 **1)例項化** let set = new Set(); let set = new Set([1,2,3,3,2]
【吳恩達 Coursera深度學習課程】 Neural Networks and Deep Learning 第一週課後習題
因為這學期選了深度學習的課程,所以也會自學一下相關內容,在網上選擇了吳恩達的深度學習來進行學習,首先是第一門課程,Neural Networks and Deep Learning。第一週的內容是深度學習概論,課後習題為十個選擇題,個人觀點,僅供參考,歡迎指正。這題問為什麼稱
吳恩達:深度學習作業2相關
.com image 就是 訓練數據 自己 包括 數據量 很好 我們 深度學習小知識點:(欠擬合與過擬合) 1.出現欠擬合應該怎樣解決:(欠擬合就是模型沒能很好的捕捉到數據的特征,不能很好地擬合數據) 欠擬合的情況如圖所示: a.增加特征項,出現欠擬合的原因一般是特征項不
吳恩達《深度學習》第一門課(1)深度學習引言
數據規模 梯度 神經網絡 以及 應該 精確 構建 關於 http 1.1歡迎 主要講了五門課的內容: 第一門課:神經網絡基礎,構建網絡等; 第二門課:神經網絡的訓練技巧; 第三門課:構建機器學習系統的一些策略,下一步該怎麽走(吳恩達老師新書《Machine Learning
吳恩達《深度學習》第一門課(4)深層神經網絡
加網 分享 傳遞 height 經驗 技術分享 image 進行 sig 4.1深層神經網絡 (1)到底是深層還是淺層是一個相對的概念,不必太糾結,以下是一個四層的深度神經網絡: (2)一些符號定義: a[0]=x(輸入層也叫做第0層) L=4:表示網絡的層數 g:表示激
吳恩達《深度學習》第四門課(1)卷積神經網絡
圖像分割 1.5 共享 信號處理 soft 沒有 樣本 填充 單元 1.1計算機視覺 (1)計算機視覺的應用包括圖像分類、目標檢測、圖像分割、風格遷移等,下圖展示了風格遷移案例: (2)圖像的特征量非常之大,比如一個3通道的1000*1000的照片,其特征為3*1000*
吳恩達《深度學習》第四門課(2)卷積神經網絡:實例探究
之一 所有 展示 數據擴充 簡介 設置 假設 通道 開源 2.1為什麽要進行實例探究 (1)就跟學編程一樣,先看看別人怎麽寫的,可以模仿。 (2)在計算機視覺中一個有用的模型,,用在另一個業務中也一般有效,所以可以借鑒。 (3)本周會介紹的一些卷積方面的經典網絡經典的包括:
吳恩達《深度學習》第五門課(2)自然語言處理與詞嵌入
星級 技術 ima lac 個數 應該 ras 時有 根據 2.1詞匯表征 (1)使用one-hot方法表示詞匯有兩個主要的缺點,以10000個詞為例,每個單詞需要用10000維來表示,而且只有一個數是零,其他維度都是1,造成表示非常冗余,存儲量大;第二每個單詞表示的向量相
深度學習,周志華,機器學習,西瓜書,TensorFlow,Google,吳軍,數學之美,李航,統計學習方法,吳恩達,深度學習筆記,pdf下載
1. 機器學習入門經典,李航《統計學習方法》 2. 周志華的《機器學習》pdf 3.《數學之美》吳軍博士著pdf 4. Tensorflow 實戰Google深度學習框架.pdf 5.《TensorFlow實戰》黃文堅 高清完整PDF 6. 復旦大