tf.data - 输入管道API (Input Pipeline API)

缺乏、安全感 2021-11-11 05:48 210阅读 0赞

文件路径：

**TensorFlow → 学习 → TensorFlow 核心 → TF 2.0 Beta → tf.data - 输入管道API **

[https://tensorflow.google.cn/beta/guide/data][https_tensorflow.google.cn_beta_guide_data]

该 tf.data API能够从简单的、可重用的 pieces 中创建复杂的输入管道complex input pipelines。

例如，图像模型的管道the pipeline for an image model 可以聚合来自分布式文件系统的数据，对每个图像应用随机扰动，并将随机选择的图像合并到批处理中以进行训练。文本模型的管道可能涉及从原始文本数据中提取符号，将它们转换为使用查找表嵌入标识符，以及将不同长度的序列批处理。

[tf.data][] API 能够处理大量数据、不同数据格式、且能够执行复杂的转换

[tf.data ][tf.data]API 引入 [tf.data.Dataset][] 来抽象表示一系列元素a sequence of elements，其中每一个元素由一个或者多个 Tensor 对象组成；如 in an image pipeline， 一个元素可能是一个训练样本an element might be a single training example，其中一对张量表示图像及其标签a pair of tensors representing the image and its label

**创建数据集dataset有两种不同的方法：**

*  将存储在内存中的一个或者多个文件数据形成的数据源构建成数据集Dataset
 *  将一个或者多个`tf.data.Dataset对象通过数据转换构建成数据集Dataset`

以后有时间继续补充学习，来自：[https://tensorflow.google.cn/beta/guide/data][https_tensorflow.google.cn_beta_guide_data]

关于切片

转载于:https://www.cnblogs.com/gengyi/p/11107209.html

[https_tensorflow.google.cn_beta_guide_data]: https://tensorflow.google.cn/beta/guide/data
[tf.data]: https://tensorflow.google.cn/versions/r2.0/api_docs/python/tf/data
[tf.data.Dataset]: https://tensorflow.google.cn/versions/r2.0/api_docs/python/tf/data/Dataset