Kubeflow实战系列：阿里云上小试TFJob

朴灿烈づ我的快乐病毒、 2022-05-14 14:45 308阅读 0赞

## 介绍 ##

本系列将介绍如何在阿里云容器服务上运行[Kubeflow][]方案, 本文介绍如何使用`TfJob`运行模型训练。

*  第一篇：[阿里云上使用JupyterHub][JupyterHub]
 *  第二篇：阿里云上小试TFJob
 *  第三篇：[利用TFJob运行分布式TensorFlow][TFJob_TensorFlow]
 *  第四篇：[利用TFJob导出分布式TensorFlow模型][TFJob_TensorFlow 1]
 *  第五篇：[利用TensorFlow Serving进行模型预测][TensorFlow Serving]

## TFJob简介 ##

模型训练是机器学习最主要的实践场景，尤其以使用机器学习框架TensorFlow进行模型训练最为流行，但是随着机器学习的平台由单机变成集群，这个问题变得复杂了。GPU的调度和绑定，涉及到分布式训练的编排和集群规约属性的配置（cluster spec）也成了数据科学家们巨大的负担。

为了解决这一问题，一个新的资源类型TFJob，即TensorFlow Job被定义出来了。通过这个资源类型，使用TensorFlow的数据科学家无需编写复杂的配置，只需要关注数据的输入，代码的运行和日志的输入输出。

### `TFJob` 定义 ###

简单介绍一下`TFJob`的定义， TFJob实际上遵循Kubernetes标准的API定义。本文介绍v1alpha1的版本，对于v1alpha2，Kubeflow 0.2会支持，目前仍在开发中。

**`TFJob` 对象**

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>类型</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>apiVersion</td> 
   <td><code>string</code></td> 
   <td>api版本，目前为&nbsp;<code>kubeflow.org/v1alpha1</code></td> 
  </tr> 
  <tr> 
   <td>kind</td> 
   <td><code>string</code></td> 
   <td>REST资源的类型. 这里是<code>TFJob</code></td> 
  </tr> 
  <tr> 
   <td>metadata</td> 
   <td><a href="https://github.com/kubernetes/community/blob/master/contributors/devel/api-conventions.md#metadata" rel="nofollow"><code>ObjectMeta</code></a></td> 
   <td>标准元数据定义.</td> 
  </tr> 
  <tr> 
   <td>spec</td> 
   <td><code>TFJobSpec</code></td> 
   <td>TensorFlow job的定义</td> 
  </tr> 
 </tbody> 
</table>

其中`spec` 非常重要，以下是其定义。

[原文链接][Link 1]

[Kubeflow]: https://github.com/kubeflow/kubeflow
[JupyterHub]: https://yq.aliyun.com/articles/600601
[TFJob_TensorFlow]: https://yq.aliyun.com/articles/602109
[TFJob_TensorFlow 1]: https://yq.aliyun.com/articles/603469
[TensorFlow Serving]: https://yq.aliyun.com/articles/603484
[Link 1]: http://click.aliyun.com/m/1000020095/