tf.variable_scope VS tf.name_scope

拼搏现实的明天。 2023-10-10 10:04 29阅读 0赞

本文以tf1.13版本中[tf.variable\_scope][tf.variable_scope]类和[tf.name\_scope][tf.name_scope]为例，介绍相应类的初始化。

*  [tf.variable\_scope][tf.variable_scope 1]类的初始化

def __init__(self,
                   name_or_scope,       #名称或VariableScope，用作当前范围内op函数的name前缀
                   default_name=None,   #name_or_scope不指定时的默认名称，全局唯一；指定name_or_scope时该变量无效，多次访问时，自动在默认名称后加_[1,2,...]
                   values=None,         #输入参数列表（op的输入）
                   initializer=None,    #当前scope(空间)内的所有变量的默认初始值
                   regularizer=None,    #当前scope内所有变量的默认正则化值
                   caching_device=None, #当前scope内所有变量的默认缓冲设备
                   partitioner=None,    #当前scope内所有变量的分区 
                   custom_getter=None,
                   reuse=None,          #变量是否复用标志位，`True`, None, or tf.AUTO_REUSE三个值，True表示在当前空间及其子空间复用该变量， tf.AUTO_REUSE变量不存在时重建，存在时直接去之前的值；None时继承父空间的reuse标志位的值
                   dtype=None,          #变量数据类型
                   use_resource=None,   #标志位，False表示正则化变量，True表示使用定制好的变量
                   constraint=None,
                   auxiliary_name_scope=True): #标志位，False表示不使用别名，True表示创建别名或空间，

*  [tf.name\_scope][tf.name_scope 1]类的初始化

def __init__(self, 
                name,               #类空间名称，用作当前范围内op函数的name前缀
                default_name=None,  #name=None时的默认名称
                values=None):       #输入参数列表（op的输入）

这两个类函数常用来限制[tf.Variable][]和[tf.get\_variable][tf.get_variable]类的使用范围。其中前者的基类为Variable，后者的基类为VariableScope。

*  tf.Variable和tf.get\_variable

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>&nbsp;</td> 
   <td>tf.Variable</td> 
   <td>tf.get_variable</td> 
  </tr> 
  <tr> 
   <td>name</td> 
   <td>受tf.name_variable和tf.variable_scope双重影响</td> 
   <td>仅受tf.variable_scope影响</td> 
  </tr> 
  <tr> 
   <td>重复创建时</td> 
   <td> <p>初次创建时为本名；</p> <p>重复创建时在名称后加重复次数${name}_${重复数，从1开始递增}</p> </td> 
   <td> <p>初次创建时，变量名不存在时直接创建,若设置reuse=True则报错，可以使用tf.AUTO_REUSE；</p> <p>重复创建时，需要指定变量reuse标志位为True或tf.AUTO_REUSE</p> </td> 
  </tr> 
 </tbody> 
</table>

import tensorflow as tf
    in_1=1
    in_2=2
    name=None
    name='foo'
    
    v1 = tf.get_variable('foo/var1', [1])  #若注释改行，则tf.variable_scope的reuse=tf.AUTO_REUSE,不设置或置为True均报错
    for idx in range(2):
        with tf.variable_scope(name, 'V0', [in_1, in_2]) as scope:
            with tf.name_scope("bar"):
                scope.reuse_variables()  #仅当变量名已经存在时有效,即配合v1 = tf.get_variable('foo/var1', [1])使用
                #tf.get_variable_scope().reuse_variables() #仅当变量名存在时有效
                v1 = tf.get_variable("var1", [1])
                v2 = tf.Variable(initial_value=[2.], name='var2', dtype=tf.float32)
                v3 = tf.Variable(initial_value=[2.], name='var2', dtype=tf.float32)
    
        with tf.Session() as sess:
            print('##ID: {}##'.format(idx))
            print('v1 name: {}'.format(v1.name))
            print('v2 name: {}'.format(v2.name))
            print('v3 name: {}'.format(v3.name))
    
    
    结果如下：
    ##ID: 0##
    v1 name: foo/var1:0      #tf.get_variable的变量名仅依赖于tf.variable_scope作为前缀
    v2 name: foo/bar/var2:0  #tf.Variable的变量名依赖于tf.variable_scope和tf.name_scope
    v3 name: foo/bar/var2_1:0  #当前变量空间内重名时，名称自动改变，保持全局唯一
    ##ID: 1##
    v1 name: foo/var1:0        #设置scope.reuse_variables()，故直接从已有变量中获得
    v2 name: foo_1/bar/var2:0  #tf.Variable的变量空间重名时，名称自动改变成名称加后缀下划线和重复次数
    v3 name: foo_1/bar/var2_1:0

*  [arg\_scope][arg_scope] 参数空间为tf.contrib模块独有的函数，用于表示该函数模块内的所有op或scope具有相同的参数。函数参数如下：

def arg_scope(list_ops_or_scope,   #函数或空间集
                 **kwargs              #参数的键值对
                  ):

如[inception\_v1][inception_v1]结构中出现该函数。

with variable_scope.variable_scope(scope, 'InceptionV1', [inputs]):
        with arg_scope(
            [layers.conv2d, layers_lib.fully_connected],
            weights_initializer=trunc_normal(0.01)):
          with arg_scope(
              [layers.conv2d, layers_lib.max_pool2d], stride=1, padding='SAME'):
            end_point = 'Conv2d_1a_7x7'
            net = layers.conv2d(inputs, 64, [7, 7], stride=2, scope=end_point)

参考文献：

1.  [variable\_scope.py][variable_scope.py]
2.  [TensorFlow函数：tf.variable\_scope][tf.variable_scope 1]
3.  [TensorFlow构建图形：tf.name\_scope函数][tf.name_scope 1]
4.  [arg\_scope.py][arg_scope]
5.  [inception\_v1.py][inception_v1]

[tf.variable_scope]: https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/VariableScope
[tf.name_scope]: https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/name_scope
[tf.variable_scope 1]: https://www.w3cschool.cn/tensorflow_python/tensorflow_python-61ue2ocp.html
[tf.name_scope 1]: https://www.w3cschool.cn/tensorflow_python/tensorflow_python-ydnb2flr.html
[tf.Variable]: https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/Variable
[tf.get_variable]: https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/get_variable
[arg_scope]: https://github.com/tensorflow/tensorflow/blob/r1.13/tensorflow/contrib/framework/python/ops/arg_scope.py
[inception_v1]: https://github.com/tensorflow/tensorflow/blob/r1.13/tensorflow/contrib/slim/python/slim/nets/inception_v1.py
[variable_scope.py]: https://github.com/tensorflow/tensorflow/blob/r1.13/tensorflow/python/ops/variable_scope.py