深度神經網路：

深度學習實際指的是基於深度神經網路（ deep neural networks, DNN）的 學習，也就是深度人工神經網路所進行的學習過程，或稱作 Deep Learning。

這個 Deep 指 的是神經網路的深度（層數多）。

TensorFlow 是一個採用資料流圖（ data flow graphs），用於數值計算的開源軟體庫。 節 點（ nodes）在圖中表示數學操作，圖中的線（ edges）則表示在節點間相互聯絡的多維資料 陣列，即張量（tensor）。

前饋神經網路 （ feedforward neural network）： 在這種神經網路中，各神經元從輸入層開始，接收前一級輸入，並輸入 到下一級，直至輸出層。 整個網路中無反饋，可用一個有向無環圖（ directed acyclic graph, DAG）表示。

前饋神經網路有兩種： 一種叫 Back Propagation Networks一一反向傳播網 絡（以下簡稱 BP 網路），一種叫RBF Network－一徑向基函式神經網路

神經網路本身就有很多種設計模式，並且會在不同的模式下 產生不同的訓練效果和運用特點。

迭代法的核心思路就是用步步逼近的方式來接近理論上的精確值，只要發現當前的試 探值已經收斂到一個滿足場景要求的誤差精度就可以判斷迭代結束，用這個試探值來充當 求解的目標值

迭代法中有一個經典的方法，就是我們現在要說的牛頓 迭代法（ Newton’s method），或稱牛頓法，它是牛頓在 18 世紀提出的一種在實數域和複數 域上近似求解方程的方法。

梯度就是分別對每個變數進行微分，然後用逗號分割開，梯度是用<>包括起來，說明梯度其實一個向量。

梯度是微積分中一個很重要的概念，之前提到過梯度的意義

• 在單變數的函式中，梯度其實就是函式的微分，代表著函式在某個給定點的切線的斜率
• 在多變數函式中，梯度是一個向量，向量有方向，梯度的方向就指出了函式在給定點的上升最快的方向

梯度下降法

這篇文章講解的很詳細，很容易理解，讀者可以直接看這篇文章即可，不在此再次介紹。

https://www.jianshu.com/p/c7e642877b0e