李巨集毅機器學習筆記1:Regression
損失函式
梯度下降
- 隨機初始化起始位w0
- 在w0處對損失函式求導(偏導)
- w1=w0-學習率*w0處的倒數
- 一直重複計算,直到導數為0,或者達到最大迭代次數。
Generalization
- 泛化 (generalization) 是指神經網路對未在訓練 (學習) 過程中遇到的資料可以得到合理的輸出。
- 使真實資料的誤差更小。
- 一個更復雜的模型可以使訓練集上的誤差更小,但是不一定能使測試集上的誤差也更小(過泛化)
- 損失函式+很小的wi,可以使預測的函式曲線更加平滑。
- 多平滑?
相關推薦
李巨集毅機器學習筆記1:Regression
損失函式 梯度下降 隨機初始化起始位w0在w0處對損失函式求導(偏導)w1=w0-學習率*w0處的倒數一直重複計算,直到導數為0,或者達到最大迭代次數。
李巨集毅機器學習筆記3:Classification
Notes 1.questions Q:多分類問題為什麼不可以直接當作迴歸問題?A:類別1變成數值1,類別2變成數值2,類別3變成數值3……暗示類別1與類別2比較接近,與類別3比較遠,實際上並無此關係。 當然,確實有將多
李巨集毅機器學習筆記:從0到寫AI
part1.基本介紹 1.機器學習的三個任務 一般情況下,我們在機器學習中有三個基本任務,分別是Regression Classification和Structured
李巨集毅機器學習HW4:句子情感分類
簡介 本次作業所用到的資料為Twitter上的推文,訓練資料會被打上正面或負面的標籤,最終我們要對無標籤的句子分類。
李巨集毅機器學習課程——Seq2Seq/Attention學習筆記
這一部分比較有難度,希望結合作業hw8程式碼,認真整理一下Seq2Seq與Attention機制的內容。本文主要是我對於這部分知識的理解和再加工,如有理解不當之處歡迎大家指出。文中的圖文均來自於李老師的PPT。
李巨集毅機器學習課程——Lifelong learning學習筆記
概述 lifelong learning非常直觀,意思是機器不能前邊學後邊忘。常見的方法是對前邊的task中學習出來的引數加一個保護係數,在後面的任務中,訓練引數時,對保護係數大的引數很難訓練,而保護係數小的引數則容易一
李巨集毅機器學習HM1(梯度下降)
問題引入 作業所給的資料是某地的觀測記錄,每個月取前20天的資料,觀測資料共有18個指標,每小時記錄這18個指標的值,共記錄12個月。
李巨集毅機器學習HM2(邏輯迴歸)
問題引入 很簡單,就是二分類問題。 資料處理 首先讀入資料 1 def read_file(): 2\"\"\"讀入資料\"\"\"
【李巨集毅機器學習】9. 深度學習提示
Deep Learning的一般步驟 Training Step 1: Function Set Step 2: Goodness of Function Step 3: Best Function
【李巨集毅機器學習】10. 卷積神經網路
為什麼影象識別要用CNN? 一些Pattern是很小的,比整張影象小得多 所以沒必要考慮整張影象,只需要考慮Pattern的那一小片區域,引數更少
李巨集毅機器學習hw3
技術標籤:MLpython深度學習神經網路卷積 Homework 3 - Convolutional Neural Network 1作業概述
李巨集毅機器學習(五) 深度學習介紹與反向傳播
P13 深度學習介紹與梯度下降 神經網路簡介 神經網路的三個步驟 Step1:神經網路(Neural network)
李巨集毅機器學習(六) 神經網路訓練技巧(2)
學習率調整策略,包含RMS、RMSProp、Adam、Learning Rate Scheduling 神經網路訓練技巧(2)
李巨集毅機器學習(六) 神經網路訓練技巧(3)
分類,batch normalization 神經網路訓練技巧(3) 分類 可以將分類任務看作迴歸任務 我們只需要將類別設定為數字,然後使用迴歸來擬合這個數字,從而達到分類的目的。
李巨集毅機器學習-Task4
Task4 分類問題:找個函式,輸出是多個類別中的一個 例如寶可夢分類:將寶可夢輸入,每隻寶可夢的屬性都可以數值化,用一個向量表示一個寶可夢
李巨集毅-人工智慧2017筆記1. Introduction of Machine Learning
1. Introduction of Machine Learning 背景提要: 人工智慧是目標,機器學習是實現該目標的手段,而深度學習是機器學習中的方法之一。
李巨集毅強化學習完整筆記!開源專案《LeeDeepRL-Notes》釋出
Datawhale開源 核心貢獻者:王琦、楊逸遠、江季 提起李巨集毅老師,熟悉強化學習的讀者朋友一定不會陌生。很多人選擇的強化學習入門學習材料都是李巨集毅老師的臺大公開課視訊。
DataWhale八月組隊學習-李巨集毅深度學習Task01-機器學習介紹
機器學習介紹 1 人類探索人工智慧的階段 人工智慧是早期人類探索的目標 人類設定好的天生本能
asp.net.core學習筆記1:swagger的使用和webapi接收Jobject物件
環境:asp.net.core 3.1 (一覺醒來官方已經不推薦3.0了,於是沒有任何core經驗,也只能開始了3.1的開發學習)
MySQL學習筆記1:Linux系統安裝MySQL
1、下載Linux安裝包 https://dev.mysql.com/downloads/mysql 2、安裝MysQL 1). 解除安裝 centos 中預安裝的 mysql