神经网络学习小记录12——批量学习tf.train.batch

向右看齐 2023-06-06 14:28 139阅读 0赞

神经网络学习小记录12——批量学习tf.train.batch

  • 学习前言
  • tf.train.batch函数
  • 测试代码
    • 1、allow_samller_final_batch=True
    • 2、allow_samller_final_batch=False

学习前言

当我在快乐的学习SSD训练部分的时候，我发现了一个batch我看不太懂，主要是因为tfrecords的数据读取方式我不理解，所以好好学一下batch吧！
在这里插入图片描述

tf.train.batch函数

  1. tf.train.batch(
  2.     tensors,
  3.     batch_size,
  4.     num_threads=1,
  5.     capacity=32,
  6.     enqueue_many=False,
  7.     shapes=None,
  8.     dynamic_pad=False,
  9.     allow_smaller_final_batch=False,
  10.     shared_name=None,
  11.     name=None
  12. )

其中：
1、tensors：利用slice_input_producer获得的数据组合。
2、batch_size：设置每次从队列中获取出队数据的数量。
3、num_threads：用来控制线程的数量，如果其值不唯一，由于线程执行的特性，数据获取可能变成乱序。
4、capacity：一个整数，用来设置队列中元素的最大数量
5、allow_samller_final_batch：当其为True时，如果队列中的样本数量小于batch_size，出队的数量会以最终遗留下来的样本进行出队；当其为False时，小于batch_size的样本不会做出队处理。
6、name：名字

测试代码

1、allow_samller_final_batch=True

  1. import pandas as pd
  2. import numpy as np
  3. import tensorflow as tf
  5. # 生成数据
  6. def generate_data():
  7.     num = 18
  8.     label = np.arange(num)
  9.     return label
  11. # 获取数据
  12. def get_batch_data():
  13.     label = generate_data()
  14.     input_queue = tf.train.slice_input_producer([label], shuffle=False,num_epochs=2)
  15.     label_batch = tf.train.batch(input_queue, batch_size=5, num_threads=1, capacity=64,allow_smaller_final_batch=True)
  16.     return label_batch
  18. # 数据组
  19. label = get_batch_data()
  20. sess = tf.Session()
  22. # 初始化变量
  23. sess.run(tf.global_variables_initializer())
  24. sess.run(tf.local_variables_initializer())
  26. # 初始化batch训练的参数
  27. coord = tf.train.Coordinator()
  28. threads = tf.train.start_queue_runners(sess,coord)
  29. try:
  30.     while not coord.should_stop():
  31.         # 自动获取下一组数据
  32.         l = sess.run(label)
  33.         print(l)
  34. except tf.errors.OutOfRangeError:
  35.     print('Done training')
  36. finally:
  37.     coord.request_stop()
  38. coord.join(threads)
  39. sess.close()

运行结果为：

  1. [0 1 2 3 4]
  2. [5 6 7 8 9]
  3. [10 11 12 13 14]
  4. [15 16 17  0  1]
  5. [2 3 4 5 6]
  6. [ 7  8  9 10 11]
  7. [12 13 14 15 16]
  8. [17]
  9. Done training

2、allow_samller_final_batch=False

相比allow_samller_final_batch=True，输出结果少了[17]

  1. import pandas as pd
  2. import numpy as np
  3. import tensorflow as tf
  5. # 生成数据
  6. def generate_data():
  7.     num = 18
  8.     label = np.arange(num)
  9.     return label
  11. # 获取数据
  12. def get_batch_data():
  13.     label = generate_data()
  14.     input_queue = tf.train.slice_input_producer([label], shuffle=False,num_epochs=2)
  15.     label_batch = tf.train.batch(input_queue, batch_size=5, num_threads=1, capacity=64,allow_smaller_final_batch=False)
  16.     return label_batch
  18. # 数据组
  19. label = get_batch_data()
  20. sess = tf.Session()
  22. # 初始化变量
  23. sess.run(tf.global_variables_initializer())
  24. sess.run(tf.local_variables_initializer())
  26. # 初始化batch训练的参数
  27. coord = tf.train.Coordinator()
  28. threads = tf.train.start_queue_runners(sess,coord)
  29. try:
  30.     while not coord.should_stop():
  31.         # 自动获取下一组数据
  32.         l = sess.run(label)
  33.         print(l)
  34. except tf.errors.OutOfRangeError:
  35.     print('Done training')
  36. finally:
  37.     coord.request_stop()
  38. coord.join(threads)
  39. sess.close()

运行结果为：

  1. [0 1 2 3 4]
  2. [5 6 7 8 9]
  3. [10 11 12 13 14]
  4. [15 16 17  0  1]
  5. [2 3 4 5 6]
  6. [ 7  8  9 10 11]
  7. [12 13 14 15 16]
  8. Done training

发表评论

表情：
评论列表 （有 0 条评论，139人围观）

还没有评论，来说两句吧...

相关阅读