tf.get_variable 中变量初始化函数和Xavier初始化器

蔚落 2022-05-16 01:04 256阅读 0赞

当使用  
`tf.get_variable(name, shape=None, initializer=None)`

来定义变量时，可以利用**变量初始化函数**来实现对 initializer 的赋值。

在神经网络中，最常**权重赋值方式**是 **正态随机赋值** 和 **Xavier赋值**。

#### 1. 变量初始化函数 ####

*  `tf.random_normal_initializer(shape,mean=0.0,stddev=1.0,dtype=tf.float32,,name=None))` **正态**
 *  `tf.random_uniform_initializer(shape,minval=0,maxval=None,dtype=tf.float32)`**均匀**
    
     *  `tf.constant_initializer(obj,shape)` **常量**
 *  `tf.zeros_initializer(shape,dtype)` **全0**
 *  `tf.ones_initializer(shape,dtype)` **全1**

以上函数都和[常量生成函数][Link 1]类似。

#### [Xavier初始化器][Xavier] ####

如果深度学习的权重初始化的太小，那么信号将在每一层传递时逐渐缩小而难以产生作用，但如果初始化得太大，那信号将在每层传递时逐渐放大并导致发散和失效。

Xavier初始化器就是让权重不大不小，刚好合适。会根据某一层网络的输入、输出节点的数量自动调整最合适的分布。

*  `tf.contrib.layers.xavier_initializer( uniform=True, seed=None, dtype=tf.float32)`
 *  **uniform参数**: 使用uniform或者normal分布来随机初始化。

**Xavier初始化器就是让权重满足” 0 均值，方差为 2nin\+nout−−−−−−√  2 n i n + n o u t ”的均分布或高斯分布**。

其中均匀分布可以为

(−6nin\+nout−−−−−−−−−√,6nin\+nout−−−−−−−−−√)  ( − 6 n i n + n o u t , 6 n i n + n o u t )

[Link 1]: https://blog.csdn.net/promisejia/article/details/81631569
[Xavier]: https://zhuanlan.zhihu.com/p/25110150

发表评论取消回复

表情：

评论列表（有 0 条评论，256人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java编程：构造函数和初始化变量示例

在Java中，构造函数是一种特殊的方法，用于在创建对象时初始化对象。构造函数的名称必须与类名相同，并且没有返回类型，甚至连void都没有。以下是构造函数和初始化变量的一个简单示

素颜马尾好姑娘i/ 2024年11月01日 08:06/ 0 赞/ 7 阅读

相关 Java中构造函数和初始化器的区别示例

在Java中，构造函数（Constructor）和初始化器（Initializer）是两种不同的对象创建方式。下面是它们的区别示例： 1. 构造函数： ```java //

朱雀/ 2024年09月05日 12:15/ 0 赞/ 48 阅读

相关变量声明和初始化

转自：http://www.cnblogs.com/douzi2/p/5044870.html 声明定义虽然无处不在，但是真正的想区分它们，却不是表面上那么简单。首先

迷南。/ 2022年07月03日 14:29/ 0 赞/ 270 阅读

相关 JAVA中变量初始化顺序

![70][] 自己撸的代码，亲测是正确的。 [70]: /images/20220529/c524019405d04ab0b8f9d85c8565cb56.png

喜欢ヅ旅行/ 2022年05月28日 22:54/ 0 赞/ 229 阅读

相关 tf.get_variable 中变量初始化函数和Xavier初始化器

当使用 `tf.get_variable(name, shape=None, initializer=None)` 来定义变量时，可以利用变量初始化函数来实现对 init

蔚落/ 2022年05月16日 01:04/ 0 赞/ 257 阅读

相关 Java变量初始化

1. Java中有两种变量，局部变量和成员变量。局部变量必须要初始化，否则编译时会报错，即局部变量必须要初始化赋值才能使用。 2. 但是类中的成员变量可以不进行初始化，虚拟

痛定思痛。/ 2022年02月19日 13:41/ 0 赞/ 268 阅读

相关深度学习之参数初始化（一）——Xavier初始化

我们需要牢记参数初始化的目的是为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以

今天药忘吃喽~/ 2022年01月24日 00:11/ 0 赞/ 393 阅读

相关【TensorFlow】变量初始化

tf.get\_variable的初始化调用为： tf.get\_variable(name, shape=None, initializer=None, dtype=t

﹏ヽ暗。殇╰゛Y/ 2021年11月02日 10:02/ 0 赞/ 362 阅读

相关变量的创建和初始化

变量的的创建、初始化、保存和加载其实变量的作用在语言中相当，都有存储一些临时值的作用或者长久存储。在Tensorflow中当训练模型时，用变量来存储和更新参数。变量包含

布满荆棘的人生/ 2021年10月29日 13:30/ 0 赞/ 351 阅读

相关初始化函数

1. 字节排序函数: 1.1 大端小端: 参考其他笔记或资料,一句话:低地址低位为小端. 1.2 常用函数:

你的名字/ 2021年03月17日 14:52/ 0 赞/ 582 阅读