tensorflow中control_flow_ops.while_loop

ゞ浴缸里的玫瑰 2021-12-24 07:35 282阅读 0赞

self.h0 = tf.zeros([self.batch_size, self.hidden_dim])
    self.h0 = tf.stack([self.h0, self.h0])  ## 相当于 h0和C0
    
     # generator on initial randomness 
     gen_o = tensor_array_ops.TensorArray(dtype=tf.float32, size=self.sequence_length, dynamic_size=False, infer_shape=True)
     gen_x = tensor_array_ops.TensorArray(dtype=tf.int32, size=self.sequence_length, dynamic_size=False, infer_shape=True)
    
     def _g_recurrence(i, x_t, h_tm1, gen_o, gen_x): 
         h_t = self.g_recurrent_unit(x_t, h_tm1)  # hidden_memory_tuple, h_t其实包含h_t和c_t, tm1即是t减去1
         o_t = self.g_output_unit(h_t)  # batch x vocab , logits
         log_prob = tf.log(tf.nn.softmax(o_t)) 
         next_token = tf.cast(tf.reshape(tf.multinomial(log_prob, 1), [self.batch_size]), tf.int32) ## next_token的shape是[batch]
         x_tp1 = tf.nn.embedding_lookup(self.g_embeddings, next_token)  # batch x emb_dim
         gen_o = gen_o.write(i, tf.reduce_sum(tf.multiply(tf.one_hot(next_token, self.num_emb, 1.0, 0.0), tf.nn.softmax(o_t)), 1))
         gen_x = gen_x.write(i, next_token)  # indices, batch_size
         return i + 1, x_tp1, h_t, gen_o, gen_x  ## x_tp1其实就是p就是Plus
    
     _, _, _, self.gen_o, self.gen_x = control_flow_ops.while_loop(
         cond=lambda i, _1, _2, _3, _4: i < self.sequence_length, ## cond的值要么为True或者为False 
         body=_g_recurrence,
         loop_vars=(tf.constant(0, dtype=tf.int32), tf.nn.embedding_lookup(self.g_embeddings, self.start_token), self.h0, gen_o, gen_x)  
         )

这段代码出自文章《SeqGAN:Sequence Generative Adversarial Nets with Policy Gradient》源码模块target\_lstm.py中，我其实是不太明白control\_flow\_ops.while\_loop的用法，琢磨后为避免忘记特记录在此。

代码是1、2行: \\color\{red\}\{代码是1、2行:\}代码是1、2行:  
lstm或gru执行的初始状态

代码第6行： \\color\{red\}\{代码第6行：\}代码第6行：  
gen\_x = tensor\_array\_ops.TensorArray(dtype=tf.int32, size=self.sequence\_length, dynamic\_size=False, infer\_shape=True)  
TensorArray可以看做是具有动态size功能的Tensor数组。通常都是跟while\_loop或map\_fn结合使用。  
我是不是可以理解成一个list，在代码第15行的时候即是将新生成的next\_token写入到gen\_x中  
代码第15行： \\color\{red\}\{代码第15行：\}代码第15行：  
gen\_x = gen\_x.write(i, next\_token)  
指定index位置写入Tensor, 我觉得write就类似与python中list的append方法，将生成的next\_token存储到gen\_x中  
代码第19行： \\color\{red\}\{代码第19行：\}代码第19行：  
cond=lambda i, \_1, \_2, \_3, \_4: i < self.sequence\_length  
这行代码是while\_loop执行的条件，如果 i < self.sequence\_length条件满足, 则cond=True, 执行control\_flow\_ops.while\_loop这个循环，再看lambda表达式，其可以有任意多个形参，在这个表达式里有五个，分别是 i, \_1, \_2, \_3, \_4, 为什么是五个参数呢？这里暂且不说（问题1）

代码第20行： \\color\{red\}\{代码第20行：\}代码第20行：  
body=\_g\_recurrence  
循环主体，\_g\_recurrence函数已经定义（第8行到第16行），这个函数需要传入5个参数，所以在cand这个条件中需要定义5个形参（问题1的答案），如果cand = True, 就一直执行body，需要注意一点的，每次执行\_g\_recurrence这个body时参数的参数是不同的，是上一步执行的结果作为本次传入的参数

代码第21行： \\color\{red\}\{代码第21行：\}代码第21行：  
loop\_vars=(tf.constant(0, dtype=tf.int32), tf.nn.embedding\_lookup(self.g\_embeddings, self.start\_token), self.h0, gen\_o, gen\_x)  
loop\_vars是循环起始参数，这五个是实参，对应与cand中五个形参  
\---------------------   
作者：小妖精Fsky   
来源：CSDN   
原文：https://blog.csdn.net/appleml/article/details/89643841   
版权声明：本文为博主原创文章，转载请附上博文链接！