1. 程式人生 > >機器學習基礎知識(二)

機器學習基礎知識(二)

深度神經網路:

深度學習實際指的是基於深度神經網路( deep neural networks, DNN)的 學習,也就是深度人工神經網路所進行的學習過程,或稱作 Deep Learning。

 

這個 Deep 指 的是神經網路的深度(層數多)。

 

TensorFlow 是一個採用資料流圖( data flow graphs),用於數值計算的開源軟體庫。 節 點( nodes)在圖中表示數學操作,圖中的線( edges)則表示在節點間相互聯絡的多維資料 陣列,即張量(tensor)。

 

 

前饋神經網路 ( feedforward neural network): 在這種神經網路中,各神經元從輸入層開始,接收前一級輸入,並輸入 到下一級,直至輸出層。 整個網路中無反饋,可用一個有向無環圖( directed acyclic graph, DAG)表示。

前饋神經網路有兩種: 一種叫 Back Propagation Networks一一反向傳播網 絡(以下簡稱 BP 網路),一種叫RBF Network-一徑向基函式神經網路

 

 

神經網路本身就有很多種設計模式,並且會在不同的模式下 產生不同的訓練效果和運用特點。

 

 

迭代法的核心思路就是用步步逼近的方式來接近理論上的精確值,只要發現當前的試 探值已經收斂到一個滿足場景要求的誤差精度就可以判斷迭代結束,用這個試探值來充當 求解的目標值

 

迭代法中有一個經典的方法,就是我們現在要說的牛頓 迭代法( Newton’s method),或稱牛頓法,它是牛頓在 18 世紀提出的一種在實數域和複數 域上近似求解方程的方法。

 

 

 

梯度就是分別對每個變數進行微分,然後用逗號分割開,梯度是用<>包括起來,說明梯度其實一個向量。

梯度是微積分中一個很重要的概念,之前提到過梯度的意義

  • 在單變數的函式中,梯度其實就是函式的微分,代表著函式在某個給定點的切線的斜率
  • 在多變數函式中,梯度是一個向量,向量有方向,梯度的方向就指出了函式在給定點的上升最快的方向

 

梯度下降法

這篇文章講解的很詳細,很容易理解,讀者可以直接看這篇文章即可,不在此再次介紹。

https://www.jianshu.com/p/c7e642877b0e