引數初始化(initializer)
CNN中最重要的就是引數了,包括W,b。 我們訓練CNN的最終目的就是得到最好的引數,使得目標函式取得最小值。引數的初始化也同樣重要,因此微調受到很多人的重視,那麼tf提供了哪些初始化引數的方法呢,我們能不能自己進行初始化呢?
1、tf.constant_initializer()
也可以簡寫為tf.Constant()
初始化為常數,這個非常有用,通常偏置項就是用它初始化的。
由它衍生出的兩個初始化方法:
a、 tf.zeros_initializer(), 也可以簡寫為tf.Zeros()
b、tf.ones_initializer(), 也可以簡寫為tf.Ones()
例:在卷積層中,將偏置項b初始化為0,則有多種寫法:
conv1 = tf.layers.conv2d(batch_images, filters=64, kernel_size=7, strides=2, activation=tf.nn.relu, kernel_initializer=tf.TruncatedNormal(stddev=0.01) bias_initializer=tf.Constant(0), )
或者:
bias_initializer=tf.constant_initializer(0)
或者:
bias_initializer=tf.zeros_initializer()
或者:
bias_initializer=tf.Zeros()
例:如何將W初始化成拉普拉斯運算元?
value = [1, 1, 1, 1, -8, 1, 1, 1,1] init = tf.constant_initializer(value) W= tf.get_variable('W', shape=[3, 3], initializer=init)
2、tf.truncated_normal_initializer()
或者簡寫為tf.TruncatedNormal()
生成截斷正態分佈的隨機數,這個初始化方法好像在tf中用得比較多。
它有四個引數(mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32),分別用於指定均值、標準差、隨機數種子和隨機數的資料型別,一般只需要設定stddev這一個引數就可以了。
例:
conv1 = tf.layers.conv2d(batch_images, filters=64, kernel_size=7, strides=2, activation=tf.nn.relu, kernel_initializer=tf.TruncatedNormal(stddev=0.01) bias_initializer=tf.Constant(0), )
或者:
conv1 = tf.layers.conv2d(batch_images, filters=64, kernel_size=7, strides=2, activation=tf.nn.relu, kernel_initializer=tf.truncated_normal_initializer(stddev=0.01) bias_initializer=tf.zero_initializer(), )
3、tf.random_normal_initializer()
可簡寫為 tf.RandomNormal()
生成標準正態分佈的隨機數,引數和truncated_normal_initializer一樣。
4、random_uniform_initializer = RandomUniform()
可簡寫為tf.RandomUniform()
生成均勻分佈的隨機數,引數有四個(minval=0, maxval=None, seed=None, dtype=dtypes.float32),分別用於指定最小值,最大值,隨機數種子和型別。
5、tf.uniform_unit_scaling_initializer()
可簡寫為tf.UniformUnitScaling()
和均勻分佈差不多,只是這個初始化方法不需要指定最小最大值,是通過計算出來的。引數為(factor=1.0, seed=None, dtype=dtypes.float32)
max_val = math.sqrt(3 / input_size) * factor
這裡的input_size是指輸入資料的維數,假設輸入為x, 運算為x * W,則input_size= W.shape[0]
它的分佈區間為[ -max_val, max_val]
6、tf.variance_scaling_initializer()
可簡寫為tf.VarianceScaling()
引數為(scale=1.0,mode="fan_in",distribution="normal",seed=None,dtype=dtypes.float32)
scale: 縮放尺度(正浮點數)
mode: "fan_in", "fan_out", "fan_avg"中的一個,用於計算標準差stddev的值。
distribution:分佈型別,"normal"或“uniform"中的一個。
當 distribution="normal" 的時候,生成truncated normal distribution(截斷正態分佈) 的隨機數,其中stddev = sqrt(scale / n) ,n的計算與mode引數有關。
如果mode = "fan_in", n為輸入單元的結點數;
如果mode = "fan_out",n為輸出單元的結點數;
如果mode = "fan_avg",n為輸入和輸出單元結點數的平均值。
當distribution="uniform”的時候 ,生成均勻分佈的隨機數,假設分佈區間為[-limit, limit],則
limit = sqrt(3 * scale / n)
7、tf.orthogonal_initializer()
簡寫為tf.Orthogonal()
生成正交矩陣的隨機數。
當需要生成的引數是2維時,這個正交矩陣是由均勻分佈的隨機數矩陣經過SVD分解而來。
8、tf.glorot_uniform_initializer()
也稱之為Xavier uniform initializer,由一個均勻分佈(uniform distribution)來初始化資料。
假設均勻分佈的區間是[-limit, limit],則
limit=sqrt(6 / (fan_in + fan_out))
其中的fan_in和fan_out分別表示輸入單元的結點數和輸出單元的結點數。
9、glorot_normal_initializer()
也稱之為 Xavier normal initializer. 由一個 truncated normal distribution來初始化資料.
stddev = sqrt(2 / (fan_in + fan_out))
其中的fan_in和fan_out分別表示輸入單元的結點數和輸出單元的結點數。