用自己的数据集训练Tensorflow模型

刺骨的言语ヽ痛彻心扉 2023-06-27 04:27 46阅读 0赞

## 用自己的数据集训练Tensorflow模型 ##

上篇博文我们用tensorflow实现了一些简单的图像处理  
[TensorFlow中的图像处理][TensorFlow]

今天我们进一步来学习tensorflow  
本文具体数据集与源代码可从我的GitHub地址获取  
[https://github.com/liuzuoping/Deep\_Learning\_note][https_github.com_liuzuoping_Deep_Learning_note]

*  数据预处理
 *  数据的读取

## 数据读取 ##

根据tensorflow的官方教程来看，tensorflow主要支持4中数据读取的方式。

*  Preloaded data: 预加载数据
 *  Feeding： 先产生一个个batch数据，然后在运行的时候依次喂给计算图。
 *  Reading from file： 从文件中读取，tensorflow主要支持两种方法从文件中读取数据喂给计算图：一个是CSV，还有一个是TFRecords
 *  多管线输入

### 预加载数据 ###

import tensorflow as tf
    
    # 构建一个Graph
    x1 = tf.constant([1, 2, 3])
    x2 = tf.constant([4, 5, 6])
    y = tf.add(x1, x2)
    
    # 喂数据 -> 启动session，计算图 
    with tf.Session() as sess:
        print(sess.run(y))

> \[5 7 9\]

### Feeding ###

import tensorflow as tf
    
    # 构建Graph
    x1 = tf.placeholder(tf.int16)
    x2 = tf.placeholder(tf.int16)
    y = tf.add(x1, x2)
    
    # X_1，X_2是变量，可以赋予不同的值
    X_1 = [1, 2, 3]
    X_2 = [4, 5, 6]
    
    # 喂数据 -> 启动session，计算图 
    with tf.Session() as sess:
        print(sess.run(y, feed_dict={ x1: X_1, x2: X_2}))

> \[5 7 9\]

### 从文件中读取 ###

*  直接读取文件
 *  写入TFRecord并读取

#### 直接读取文件 ####

# 导入tensorflow
    import tensorflow as tf 
    
    # 新建一个Session
    with tf.Session() as sess:
        # 我们要读三幅图片plate1.jpg, plate2.jpg, plate3.jpg
        filename = ['images/plate1.jpg', 'images/plate2.jpg', 'images/plate3.jpg']
        # string_input_producer会产生一个文件名队列
        filename_queue = tf.train.string_input_producer(filename, shuffle=True, num_epochs=5)
        # reader从文件名队列中读数据。对应的方法是reader.read
        reader = tf.WholeFileReader()
        key, value = reader.read(filename_queue)
        # tf.train.string_input_producer定义了一个epoch变量，要对它进行初始化
        tf.local_variables_initializer().run()
        # 使用start_queue_runners之后，才会开始填充队列
        threads = tf.train.start_queue_runners(sess=sess)
        i = 0
        while True:
            i += 1
            # 获取图片数据并保存
            image_data = sess.run(value)
            with open('tfIO/test_%d.jpg' % i, 'wb') as f:
                f.write(image_data)

#### 写入TFRecord并读取 ####

import tensorflow as tf
    # 为显示图片
    from matplotlib import pyplot as plt
    import matplotlib.image as mpimg
    %pylab inline
    # 为数据操作
    import pandas as pd
    import numpy as np
    import os
    img=mpimg.imread('images/plate1.jpg') 
    tensors = np.array([img,img,img])
    # show image
    print('\n张量')
    display(tensors)
    plt.imshow(img)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXp1b3Bpbmc_size_16_color_FFFFFF_t_70]

import os
    import tensorflow as tf
    from PIL import Image
    
    
    def create_record():
        writer = tf.python_io.TFRecordWriter("tfIO/tfrecord/test.tfrecord")
        for i in range(3):
            # 创建字典
            features={ }
            # 写入张量，类型float，本身是三维张量，另一种方法是转变成字符类型存储，随后再转回原类型
            features['tensor'] = tf.train.Feature(bytes_list=tf.train.BytesList(value=[tensors[i].tostring()]))
            # 存储形状信息(806,806,3)
            features['tensor_shape'] = tf.train.Feature(int64_list = tf.train.Int64List(value=tensors[i].shape))
            # 将存有所有feature的字典送入tf.train.Features中
            tf_features = tf.train.Features(feature= features)
            # 再将其变成一个样本example
            tf_example = tf.train.Example(features = tf_features)
            # 序列化该样本
            tf_serialized = tf_example.SerializeToString()
            # 写入一个序列化的样本
            writer.write(tf_serialized)
            # 由于上面有循环3次，所以到此我们已经写了3个样本
            # 关闭文件 
        writer.close()
        
    def read_and_decode(filename):
        filename_queue = tf.train.string_input_producer([filename])
    
        reader = tf.TFRecordReader()
        _, serialized_example = reader.read(filename_queue)
        features = tf.parse_single_example(serialized_example,
                                           features={ 
                                               'tensor': tf.FixedLenFeature([], tf.string),
                                               'tensor_shape' : tf.FixedLenFeature([], tf.int64),
                                           })
    
        tensor = tf.decode_raw(features['tensor'], tf.uint8)
        tensor = tf.reshape(tensor, [224, 224, 3])
        tensor = tf.cast(tensor, tf.float32) * (1. / 255) - 0.5
        tensor_shape = tf.cast(features['tensor_shape'], tf.int32)
    
        return tensor,tensor_shape
    
    if __name__ == '__main__':
        img, label = read_and_decode("tfIO/tfrecord/test.tfrecord")
    
        img_batch, label_batch = tf.train.shuffle_batch([img, label],
                                                        batch_size=5, capacity=2000,
                                                        min_after_dequeue=1000)
        #初始化所有的op
        init = tf.initialize_all_variables()
    
        with tf.Session() as sess:
            sess.run(init)
            #启动队列
            threads = tf.train.start_queue_runners(sess=sess)
            for i in range(3):
                val, l= sess.run([img_batch, label_batch])
                #l = to_categorical(l, 12)
                print(val.shape, l)

[TensorFlow]: https://blog.csdn.net/liuzuoping/article/details/103819110
[https_github.com_liuzuoping_Deep_Learning_note]: https://github.com/liuzuoping/Deep_Learning_note
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXp1b3Bpbmc_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200103141934810.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXp1b3Bpbmc=,size_16,color_FFFFFF,t_70