吳恩達機器學習筆記(一),含作業及附加題答案連結
吳恩達機器學習筆記(一)
標籤(空格分隔): 機器學習
一.機器學習簡介
1.機器學習的定義
對於一個程式,給它一個任務T和一個性能測量方法P,如果在經驗E的影響下,P對T的測量結果得到了改進,那麼就說該程式從E中學習
分類 | 內容 | 例子 |
---|---|---|
監督學習 | 迴歸 在已有資料中尋找規律,解決類似問題。 | 預測房價 |
無監督學習 | 聚類,獨立元件分析尋找混合資料之間的區別進行分類。 | 區分聲音 |
強化學習 | 回報函式,自我學習優化演算法。 | 機器人運動。 |
作業軟體:Matlab/Octave
2.監督學習
在監督式學習中,我們給了一個數據集,並且已經知道我們的正確輸出應該是什麼樣子,並且有輸入和輸出之間有關係的想法。
監督學習問題分為“迴歸(classification)”和“分類(regression)”問題。
- 在迴歸問題中,我們試圖預測連續輸出中的結果,這意味著我們試圖將輸入變數對映到某個連續函式。
- 在分類問題中,我們試圖預測離散輸出的結果。意味著我們將輸入變數對映到離散類別。
3.非監督學習
- 無監督的學習使我們能夠很少或根本不知道我們的結果應該是什麼樣子。
- 我們可以從資料中推匯出結構,我們不一定知道變數的影響。
- 我們可以通過基於資料中變數之間的關係對資料進行聚類來推匯出這種結構。
- 在無監督學習的基礎上,沒有基於預測結果的反饋。
例:
聚類:蒐集一百萬個不同的基因,並找到一種方法,將這些基因自動分組,這些基因組通過不同的變數(例如壽命,位置,角色等)相似或相關。
非聚類:“雞尾酒會演算法”,可以讓你在混亂的環境中找到結構。 (即在雞尾酒會上從聲音網格中識別個別的聲音和音樂)。
迴歸與分類的區分
* 當我們試圖預測的目標變數是連續的,比如在我們的住房例子中,我們把學習問題稱為迴歸問題。
* 當y只能接受少量的離散值時(比如,如果考慮到居住面積,我們想要預測一個住宅是房子還是公寓),我們稱之為分類問題
代價函式cost function
這個函式被稱為“平方誤差函式”或“均方誤差”。
平方項求導有常數2,增加1_2係數,以方便計算梯度下降。
示例:
假設(hypothesis):
引數(parameter):
代價函式(cost function):
對於多變數還可以寫做:
目標(goal):
二:梯度下降和線性迴歸(gradient descent and (linear regression))
1.梯度下降
重複運算直至收斂:(alpha為學習速率(learning rate))
同時對兩個theta賦值:
然後將temp賦值給theta迴圈執行直至演算法收斂
- 向量(vector):一個n*1的矩陣(matrix)
- 只有同維度的矩陣才能相加,對應的數字相加
- 實數與整數相乘除直接把矩陣的每一位乘除即可
- 矩陣相乘必須前一個的列數(columns)等於後一個的行數(row)
⎡⎣⎢acebdf⎤⎦⎥+[xy]=⎡⎣⎢a∗x+b∗yc∗x+d∗ye∗x+f∗y⎤⎦⎥
逆矩陣:m*m的矩陣與其逆矩陣相乘為單位矩陣 (identity matrix)
轉置4 877777777777777矩陣:
輸入的變數:
- n:特徵(feature)數量
- m: 訓練集數量
-
x(i)= 第i個訓練集 -
x(i)j= 第i個訓練集第j個特徵的引數 -
hθ(x)=[θ0θ1⋯θn]⎡⎣⎢⎢⎢x0x1⋯xn⎤⎦⎥⎥⎥=θ
2.多變數梯度下降:
重複執行直至收斂:{
相關推薦
吳恩達機器學習筆記(一),含作業及附加題答案連結
吳恩達機器學習筆記(一) 標籤(空格分隔): 機器學習 吳恩達機器學習筆記一 一機器學習簡介 機器學習的定義 監督學習 非監督學習
吳恩達機器學習筆記(六) —— 支持向量機SVM
次數 括號 圖片 最小 我們 支持向量機svm UNC 意思 strong 主要內容: 一.損失函數 二.決策邊界 三.Kernel 四.使用SVM 一.損失函數 二.決策邊界 對於: 當C非常大時,括號括起來的部分就接近於0,所以就變成了:
吳恩達機器學習筆記(5)—— 神經網路
本教程將教大家如何快速簡單的搭起一個自己的部落格,並不會系統的教會你如何建站,但是可以讓掌握建站的基礎對以後web學習有一定的幫助。 購買一個域名 域名就相當於地址,我們就是通過域名來訪問我們的網站,現在萬網和騰訊雲都有廉價域名賣,首年大概1-5元一年吧。
吳恩達機器學習筆記(十)-應用機器學習的建議
第十一章 應用機器學習的建議決定下一步做什麼 當要設計機器學習系統時,如何選擇一條最適合最高效的道路? 假設你已經實現了正則化的線性迴歸來預測房屋價格,然而,當在一組新的測試集上使用該假設時
吳恩達機器學習課程(一)之梯度下降原理
梯度下降法 對於線性迴歸分析,我們將假設函式定義為h(x)=θ0+θ1x1+⋯+θnxn 令x0=1,記x=(x0x1⋯xn),θ=⎛⎝⎜⎜⎜⎜θ0θ1⋮θn⎞⎠⎟⎟⎟⎟ 因為假設函式與引數θ有關,記hθ(x)=h(x)=xθ 對於每一
吳恩達機器學習筆記(二)(附程式設計作業連結)
吳恩達機器學習筆記(二) 標籤: 機器學習 一.邏輯迴歸(logistic regression) 1.邏輯函式&&S型函式(logistic function and sigmoid function) 線性迴歸的假設表示
吳恩達機器學習筆記(week 8)----聚類
宣告:本文只用於學習交流,若不慎侵權,請及時聯絡我,立即予以刪除 一 聚類 監督學習與無監督學習 從上面可以看出,監督學習中training資料帶有標籤y,而無監督學習中training資料則沒有標籤y 2. K-means 演算法 以下是該演算法的圖形演
吳恩達機器學習筆記(十五)
原創部落格,轉載請註明出處! 1、目標I :資料壓縮 開始談論第二種型別的無監督學習問題,稱為降維。有幾個不同的的原因使你可能想要做降維。一是資料壓縮,後面我們會看了一些視訊後,資料壓縮不僅允許我們壓縮資料,因而使用較少的計算機記憶體或磁碟空間,它還能讓我們加快我們的學習演算法。 假設我
吳恩達機器學習筆記(十二)-支援向量機
第十三章 支援向量機(SVM)優化目標支援向量機在學習複雜的非線性方程時能夠提供一種更為清晰個更加強大的方式。 先回顧一下邏輯迴歸的相關概念,看如何進行改動可以得到支援向量機。邏輯迴歸的假設函式為
吳恩達機器學習筆記(十六)-推薦系統
第十七章推薦系統問題規劃 這一章中將討論推薦系統的有關內容,它是在機器學習中的一個重要應用。 機器學習領域的一個偉大思想:對於某些問題,有一些演算法可以自動地學習一系列合適的特徵,比起手動設
吳恩達深度學習筆記(七) —— Batch Normalization
學習 bat 中括號 和平 一個 內容 batch 可能 加權 主要內容: 一.Batch Norm簡介 二.歸一化網絡的激活函數 三.Batch Norm擬合進神經網絡 四.測試時的Batch Norm 一.Batch Norm簡介 1.在機器學習中,我們一般
吳恩達深度學習筆記(八) —— ResNets殘差網絡
con 一個 學習 ets str 帶來 圖片 梯度 就是 (好累……,明日在寫……) 主要內容: 一.殘差網絡簡介 二.identity block 和 convolutional block 一.殘差網絡簡介 1.深度神經網絡很大的一個優點就是能夠表示一個
吳恩達深度學習筆記(3)-神經網路如何實現監督學習?
神經網路的監督學習(Supervised Learning with Neural Networks) 關於神經網路也有很多的種類,考慮到它們的使用效果,有些使用起來恰到好處,但事實表明,到目前幾乎所有由神經網路創造的經濟價值,本質上都離不開一種叫做監督學習的機器學習類別,讓我們舉例看看。
吳恩達深度學習筆記(4)-為什麼深度學習會興起?
為什麼深度學習會興起?(Why is Deep Learning taking off?) 本節視訊主要講了推動深度學習變得如此熱門的主要因素。包括資料規模、計算量及演算法的創新。(3個重點概念!請背書!) 深度學習和神經網路之前的基礎技術理念已經存在大概幾十年了,為什麼它們現在才突
吳恩達深度學習筆記(9)-導數的簡單推導介紹
導數(Derivatives) 這個筆記我主要是想幫你獲得對微積分和導數直觀的理解。 或許你認為自從大學畢以後你再也沒有接觸微積分。 為了高效應用神經網路和深度學習,你並不需要非常深入理解微積分(這個哦,並不需要深入瞭解)。因此如果你觀看這個視訊或者以後的視訊時心想:“哇哦,這些知
吳恩達深度學習筆記(7)--邏輯迴歸的代價函式(Cost Function)
邏輯迴歸的代價函式(Logistic Regression Cost Function) 在上一篇文章中,我們講了邏輯迴歸模型,這裡,我們講邏輯迴歸的代價函式(也翻譯作成本函式)。 吳恩達讓我轉達大家:這一篇有很多公式,做好準備,睜大眼睛!代價函式很重要! 為什麼需要代價函式: 為
吳恩達深度學習筆記(8)-重點-梯度下降法(Gradient Descent)
梯度下降法(Gradient Descent)(重點) 梯度下降法可以做什麼? 在你測試集上,通過最小化代價函式(成本函式) J(w,b) 來訓練的引數w和b , 如圖,在第二行給出和之前一樣的邏輯迴歸演算法的代價函式(成本函式)(上一篇文章已講過) 梯度下降法的形象化
吳恩達深度學習筆記(2)-什麼是神經網路(Neural Network)
什麼是神經網路?(What is a Neural Network) 我們常常用深度學習這個術語來指訓練神經網路的過程。有時它指的是特別大規模的神經網路訓練。那麼神經網路究竟是什麼呢?在這個視訊中,會講解一些直觀的基礎知識。 首先,讓我們從一個房價預測的例子開
吳恩達機器學習筆記59-向量化:低秩矩陣分解與均值歸一化(Vectorization: Low Rank Matrix Factorization & Mean Normalization)
接受 span amp 14. 實現 新的 mean 情況 rank 一、向量化:低秩矩陣分解 之前我們介紹了協同過濾算法,本節介紹該算法的向量化實現,以及說說有關該算法可以做的其他事情。 舉例:1.當給出一件產品時,你能否找到與之相關的其它產品。2.一位用
吳恩達深度學習筆記(deeplearning.ai)之循環神經網絡(RNN)(一)
不同的 圖片 存在 最終 一個 har end markdown 輸入 1. RNN 首先思考這樣一個問題:在處理序列學習問題時,為什麽不使用標準的神經網絡(建立多個隱藏層得到最終的輸出)解決,而是提出了RNN這一新概念? 標準神經網絡如下圖所示: 標準神經網絡在解決序列