1. 程式人生 > >Deep Learning讀書筆記1--基礎知識篇(第二、三、四、五章)

Deep Learning讀書筆記1--基礎知識篇(第二、三、四、五章)


Deep Learning

An MIT Press book

Ian Goodfellow and Yoshua Bengio and Aaron Courville

英文原版

第二章 線性代數

1.張量

  在某些情況下,我們會討論座標超過兩維的陣列。 一般地,一個數組中的元素分佈在若干維座標的規則網格中,我們稱之為張量。

2.範數


3.Moore-Penrose 偽逆

    對於非方矩陣而言,其逆矩陣沒有定義。 假設在下面的問題中,我們希望通過矩陣A的左逆B來求解線性方程:                                                  A
x=y
    Moore-Penrose 偽逆使我們在這類問題上取得了一定的進展。 矩陣A的偽逆定義為: A+=limα0(AA+αI)1A.     計算偽逆的實際演算法沒有基於這個定義,而是使用下面的公式: A+=VD+U. 其中,矩陣V,D和U是矩陣A奇異值分解後得到的矩陣。 對角矩陣D的偽逆D^+是其非零元素取倒數之後再轉置得到的。   奇異值分解:  A=UDV.

    假設A是一個mxn的矩陣,那麼U是一個mxm的矩陣,D是一個mxn的對角矩陣,V是一個nx n的矩陣。

4. 跡運算:

    跡運算返回的是矩陣對角元素的和:
                                Tr(A)=iAi,i.
     跡運算提供了另一種描述矩陣Frobenius 範數的方式:
AF=Tr(AA).ji ji
    跡運算性質
Tr(ABC)=Tr(CAB)=Tr(BCA). 或者更一般地, Tr(i=1nF(i))=Tr(F(n)i=1n1F(i)).


第三章  概率與資訊理論 

1、協方差

     協方差在某種意義上給出了兩個變數線性相關性的強度以及這些變數的尺度: Cov(f(x),

相關推薦

Deep Learning讀書筆記1--基礎知識第二

Deep Learning An MIT Press book Ian Goodfellow and Yoshua Bengio and Aaron Courville 英文原版

《Spring Cloud微服務實戰》讀書筆記基礎知識1

摘要 微服務是一種系統架構的設計風格,它主旨在於將一個原本獨立的系統,拆分成多個獨立執行的小型服務。不同服務之間通過Restful介面進行通訊協作。 關鍵詞:Spring Cloud,微服務 一、什麼是微服務 微服務是一種系統架構的設計風格,它主旨在於將一個原本

文字上的演算法讀書筆記一--基礎知識

1.1 概率論 概率描述一些事情發生的可能性。 大數定理: 當試驗次數(樣本)足夠多的時候,事件出現的頻率無限接近於該事件真實發生的概率。 來表示隨機變數的概率,那麼就要滿足如下兩個特性: 聯合概率 表示兩個事件共同發生的概率,如果相互獨立,則 條件概率 是指在

jQuery學習筆記-1-基礎知識

基礎知識 本章主要記錄jQuery基本操作和資訊,這些內容來自學習的網上的一些資料。 一.簡介: 1.jQuery 是一個 JavaScript 庫。 2.jQuery 極大地簡化了 JavaScript 程式設計。 3.jQuery 很容易學習。 4

mybatis學習筆記1——基礎知識

原生JDBC程式中問題的總結 例:使用jdbc查詢mysql資料庫中使用者表的記錄 public String searchStudent(String number) throws SQLException{ conn = DBUtil.getConnection(

CCNA學習筆記-1 基礎知識回顧

OSI參考模型:國際標準化組織(ISO)在1979年建立了一個分委員會來專門研究一種用於開放系統互連的體系結構(Open Systems Interconnection),簡稱OSI。 “開放”這個詞表示:只要遵循OSI標準,一個系統可以和位於世界上任何地方的

Deep Learning讀書筆記:Greedy Layer-Wise Training of Deep Networks

        接下來我們來說明下本篇文章的另一個主要工作,就是處理分類目標與輸入資料的分佈並沒有太大關聯的情況。問題的描述是這樣的,一個分類任務,輸入資料x服從分佈p(x),而分類目標可以表示為y=f(x)+noise,其中p與f並沒有特別明顯的關係。在這種設定下,我們並不能指望無監督學習對模型的學習有特別

Moodle開發筆記1-基礎知識

There are roughly 200 related tables in Moodle database. “ mdl_ ” is prefix of each table name. Moodle data Moodle data

Deep Learning 讀書筆記:關於CNN的實際例子

        昨天晚上開了組會,主要是給新成員入下門,講完之後,感覺大家理解上還是有些困難,入門總是會辛苦些,但確實有些概念會感覺有些抽象。因為打算從CNN入手,所以這篇部落格呢,會結合CNN的具體例子,說說整個網路到底是一個怎樣的流程。當然咯,想要了解細節,還得回到我之

Deep Learning讀書筆記:Reducing the Dimensionality of Data with Neural Networks

       這是發表在Science上的一篇文章,是Deep Learning的開山之作,同樣也是我讀的第一篇文章,我的第一篇讀書筆記也從這開始吧。        文章的主要工作是資料的降維,等於說這裡使用深度學習網路主要提取資料中的特徵,但卻並沒有將這個特徵應用到分類等

python machine learning 讀書筆記1——Mac OS環境搭建技巧

安裝homebrew: $ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 安裝python3, pip3: $ brew

【 專欄 】- Deep Learning讀書筆記

Deep Learning讀書筆記 Deep Learning An MIT Press book Ian Goodfellow and Yoshua Bengio and Aaron Courville 記錄下本人閱讀該書

Deep Learning 讀書筆記Deep Learning from Temporal Coherence in Video

       原來不是說好的不做視訊與影象改做NLP方向了嗎,怎麼這篇又是關於原來方面的。因為突然想起了原來的一個點子,是關於卷積神經網路學習演算法的,希望通過這個演算法使得CNN能夠對視訊資料進行學習。我是希望先琢磨下這個想法的可行性,然後把它交給師弟師妹們來做,也算是盡

Deep Learning 讀書筆記:關於卷積神經網路的各種

        可能前面的幾篇部落格太偏理論了,班上同學都說看不懂,因此還是決定寫寫偏應用的東西。因為只看過影象處理和NLP相關的內容,因此就讓班上同學選擇下想看哪一個。最後服從大流選擇寫有關Deep Learning在影象處理方面的一些內容。在此也特別謝謝電子科技大學10

C++入門課程系列:基礎知識1

錯誤 輸出 控制 保時捷 基本類 blue val prim ets C++是一種靜態數據類型語言。 ? 在C++語言中,變量是計算機編程的一個重要概念,它是一個存儲值的字母或名稱? 有幾種基本類型的變量:string (“一組詞”)、chars(‘a’)、floats(1

UNIX讀書筆記----UNIX基礎知識

UNIX體系結構:  從嚴格意義上講,可將作業系統定義為一種軟體,它控制計算機硬體資源,提供程式執行環境。我們通常將這種軟體稱為核心(Kernel),因為他相對較小,而且位於環境的核心。圖片顯示了UNIX系統的體系結構。  核心的介面被稱為系統呼叫(system call)。公用函式庫構建在系統呼叫介面只是,

Deep Learning讀書筆記】深度學習中的概率論

本文首發自公眾號:RAIS,期待你的關注。 前言 本系列文章為 《Deep Learning》 讀書筆記,可以參看原書一起閱讀,效果更佳。 概率論 機器學習中,往往需要大量處理不確定量,或者是隨機量,這與我們傳統所需要解決掉問題是大不一樣的,因此我們在機器學習中往往很難給出一個百分百的預測或者判斷,基於此

Gentoo無線網絡卡安裝之基礎知識

已開通新的部落格,後續文字都會發到新部落格 http://www.0xfree.top   最近接觸了一下Gentoo,在無線網絡卡方面遇到了問題,於是便廣泛的查詢資料,雖然到最後還是沒有搞定,但是把過程中積累下來的東西和大家分享分享,有什麼錯誤的地方,歡迎大家回帖指正 如

Python基礎知識回顧也可以說有點小技巧性的東西

交換變數 a,b=2,3 a,b=b+1,a print(a,b) 結果如下: 4 2 字典推導和集合推導 some_list=[1,2,3,4,5,6] another_list=[i+1 for i in some_list] #列表的推導 print(another_