【深度學習技術】LRN 區域性響應歸一化
LRN(Local Response Normalization) 區域性響應歸一化筆記
本筆記記錄學習 LRN(Local Response Normalization),若有錯誤,歡迎批評指正,學習交流。
1.側抑制(lateral inhibition)
2.計算公式
Hinton在2012年的Alexnet網路中給出其具體的計算公式如下:
公式看上去比較複雜,但理解起來非常簡單。i表示第i個核在位置(x,y)運用啟用函式ReLU後的輸出,n是同一位置上臨近的kernal map的數目,N是kernal的總數。引數K,n,alpha,belta都是超引數,一般設定k=2,n=5,aloha=1*e-4,beta=0.75。
3.後期爭議
在2015年 Very Deep Convolutional Networks for Large-Scale Image Recognition.提到LRN基本沒什麼用。
在Alexnet模型中首次提出這個概念。
參考文獻:
[LRN]:ImageNet Classification with Deep Convolutional Neural Networks
相關推薦
【深度學習技術】LRN 區域性響應歸一化
LRN(Local Response Normalization) 區域性響應歸一化筆記 本筆記記錄學習 LRN(Local Response Normalization),若有錯誤,歡迎批評指正,學習交流。 1.側抑制(lateral inhibiti
LRN 區域性響應歸一化詳解
1、其中LRN就是區域性響應歸一化: 這個技術主要是深度學習訓練時的一種提高準確度的技術方法。其中caffe、tensorflow等裡面是很常見的方法,其跟啟用函式是有區別的,LRN一般是在啟用、池化後進行的一中處理方法。 &nbs
LRN--區域性響應歸一化
側抑制(lateral inhibition)  
深度學習基礎--正則化與norm--區域性響應歸一化層(Local Response Normalization, LRN)
區域性響應歸一化層(Local Response Normalization, LRN) 區域性響應歸一化層完成一種“臨近抑制”操作,對區域性輸入區域進行歸一化。 該層實際上證明已經沒啥用了,一般也不用了。 參考資料:見郵件 公式與計算 該層需要的引數包括:
【深度學習技術】卷積神經網路常用啟用函式總結
本文記錄了神經網路中啟用函式的學習過程,歡迎學習交流。 神經網路中如果不加入啟用函式,其一定程度可以看成線性表達,最後的表達能力不好,如果加入一些非線性的啟用函式,整個網路中就引入了非線性部分,增加了網路的表達能力。目前比較流行的啟用函式主要分為以下7種:
區域性響應歸一化(Local Response Normalization,LRN)
一、LRN技術介紹: Local Response Normalization(LRN)技術主要是深度學習訓練時的一種提高準確度的技術方法。其中caffe、tensorflow等裡面是很常見的方法,其跟啟用函式是有區別的,LR
深度學習,opencv讀取圖片,歸一化,顯示,多張圖片顯示
import numpy as np import cv2 def cv_norm_proc(img): # cv_norm_proc函式將圖片歸一化 [-1,1] img_rgb = (img / 255. - 0.5) * 2 return img_rgb def cv_in
區域性響應歸一化(Local Response Normalization)
LRN是一種提高深度學習準確度的技術方法。LRN一般是在啟用、池化函式後的一種方法。 在ALexNet中,提出了LRN層,對區域性神經元的活動建立競爭機制,使其中響應比較大對值變得相對更大,並抑制其他反饋較小的神經元,增強了模型的泛化能力。 在2012的Alexnet網路
【深度學習系列】用PaddlePaddle和Tensorflow實現經典CNN網絡GoogLeNet
mage eat oba card fin filter mod 一個 lec 前面講了LeNet、AlexNet和Vgg,這周來講講GoogLeNet。GoogLeNet是由google的Christian Szegedy等人在2014年的論文《Going Deepe
【深度學習系列】用PaddlePaddle和Tensorflow實現GoogLeNet InceptionV2/V3/V4
targe 所有 conn ride 出了 prev 縮減 tro 例如 上一篇文章我們引出了GoogLeNet InceptionV1的網絡結構,這篇文章中我們會詳細講到Inception V2/V3/V4的發展歷程以及它們的網絡結構和亮點。 GoogLeNet I
【深度學習系列】一起來參加百度 PaddlePaddle AI 大賽吧!
人工 領域 而且 標註數據 sea nload 類型 指定路徑 ear 寫這個系列寫了兩個月了,對paddlepaddle的使用越來越熟悉,不過一直沒找到合適的應用場景。最近百度搞了個AI大賽,據說有四個賽題,現在是第一個----綜藝節目精彩片段預測 ,大家可以去檢測一
【深度學習篇】--神經網絡中的調優
flow 初始 clas 根據 叠代 pan 容易 組合 語音 一、前述 調優對於模型訓練速度,準確率方面至關重要,所以本文對神經網絡中的調優做一個總結。 二、神經網絡超參數調優 1、適當調整隱藏層數對於許多問題,你可以開始只用一個隱藏層,就可以獲得不錯的結果,比如對於復雜
吳恩達【深度學習工程師】 04.卷積神經網絡 第三周目標檢測 (1)基本的對象檢測算法
元素 需要 有關 卷積 訓練 特定 步長 來看 選擇 該筆記介紹的是《卷積神經網絡》系列第三周:目標檢測(1)基本的對象檢測算法 主要內容有: 1.目標定位 2.特征點檢測 3.目標檢測 目標定位 使用算法判斷圖片中是不是目標物體,如果是還要再圖片中標出其位置並
【深度學習篇】--Windows 64下tensorflow-gpu安裝到應用
archive dev upgrade eight ins 自己的 技術 tro tar 一、前述 一直以為自己的筆記本不支持tensflow-gpu的運行,結果每次運行模型都要好久。偶然間一個想法,想試試自己的筆記本,結果竟然神奇的發現能用GPU。於是分享一下安裝步驟.
【深度學習篇】---CNN和RNN結合與對比,實例講解
開頭 問答 16px 結合 觀察 反向 -c style 圖像 一、前述 CNN和RNN幾乎占據著深度學習的半壁江山,所以本文將著重講解CNN+RNN的各種組合方式,以及CNN和RNN的對比。 二、CNN與RNN對比 1、CNN卷積神經網絡與RNN遞歸神經網絡直觀圖
【深度學習基礎】《深度學習》李巨集毅
重要知識點: 激勵函式(activation function) softmax layer Lecture 1: Introduction of Deep Learning 1. 深度學習的步驟 機器學習的步驟: Step 1: 定義一個函式集合(define
【深度學習系列】CNN模型的視覺化
模型視覺化 因為我沒有搜到用paddlepaddle在imagenet 1000分類的資料集上預訓練好的googLeNet inception v3,所以用了keras做實驗,以下圖作為輸入: 輸入圖片 北汽紳寶D50:
【深度學習筆記】優化演算法( Optimization Algorithm)
本文依舊是吳恩達《深度學習工程師》課程的筆記整理與拓展。 一、優化演算法的目的與挑戰 優化演算法主要是用來加快神經網路的訓練速度,使得目標函式快速收斂。 優化問題面臨的挑戰有病態解、鞍點、梯度爆炸與梯度消失……具體可見參考文獻【1】241頁到249頁。
影象分割綜述【深度學習方法】
CNN影象語義分割基本上是這個套路: 下采樣+上取樣:Convlution + Deconvlution/Resize 多尺度特徵融合:特徵逐點相加/特徵channel維度拼接 獲得畫素級別的segement map:對每一個畫素點進行判斷類別 即使是更復雜的DeepL
【深度學習筆記】關於卷積層、池化層、全連線層簡單的比較
卷積層 池化層 全連線層 功能 提取特徵 壓縮特徵圖,提取主要特徵 將學到的“分散式特徵表示”對映到樣本標記空間 操作 可看這個的動態圖,可惜是二維的。對於三維資料比如RGB影象(3通道),卷積核的深度必須