Tez 简介

迷南。 2023-03-13 13:51 29阅读 0赞

**Table of Contents**

Tez 概述

YARN 背景时间线

Tez 如何使用 YARN Timeline

YARN Timeline and Hadoop Versions

Configuring Tez to use YARN Timeline

Tez 访问控制

ACLs and the Tez UI

How to setup the ACLs

YARN Administration ACLs

AM/Session Level ACLs

DAG ACLs

将特定于应用程序的数据嵌入到 Tez UI 中

设置 DAG-level 信息

在 Tez UI 中使用 DAG 信息和历史文本

Tez UI 概述

为 Tez UI 设置 Tez

部署 Tez UI

配置时间轴服务器 URL 和资源管理器 UI URL。

Hosting the UI in Tomcat.

Hosting the UI 使用任意单机 webserver

应用程序时间轴服务器的其他设置步骤

Tez Shuffle Handler 概述

Tez Shuffle Handler 设置

Tez Shuffle Handler 部署

Node Manager 设置

Tez 本地模式

需要注意的事情

从本地模式迁移到实际集群时可能出现的问题

带有外部服务的本地模式

--------------------

# Tez 概述 #

Apache TEZ®项目旨在构建一个应用程序框架，该框架允许对处理数据的任务进行复杂的定向无循环图。它目前构建在 Apache Hadoop YARN 之上。

Tez的两个主要设计主题是：

**向终端用户授权：**

*  丰富的数据流定义 api
 *  灵活的输入-处理器-输出运行时模型
 *  数据类型不确定
 *  简化的部署

**执行性能：**

*  性能收益超过 Map Reduce
 *  最优的资源管理
 *  在运行时计划重新配置
 *  动态物理数据流决策

通过允许 Apache Hive 和 Apache Pig 这样的项目运行复杂的 DAG 任务，Tez 可以用来处理数据，这些数据以前需要多个 MR jobs，现在在一 Tez 作业中，如下所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70][]

# YARN 背景时间线 #

在 Apache Hadoop 2.4.0中引入了对 YARN 时间轴的初始支持。在 Apache Hadoop 2.6.0 中引入了对时间轴上的 acl 的支持。Tez 在0.5中引入了对时间轴的支持。x(0.4中有一些实验支持)。x)。但是，Tez ACLs 与 Timeline 的集成只能从 Tez 0.6.0开始。

## Tez 如何使用 YARN Timeline ##

Tez 使用 YARN Timeline 作为其应用历史存储。Tez 的大部分生命周期信息存储到这段历史存储如：- DAG信息，如：- DAG - DAG提交计划，开始和结束时间 - DAG计数器 - DAG的最终状态和附加的诊断 - Vertex，任务和任务尝试信息-开始和结束时间计数器诊断

使用上述信息，用户可以在 Tez DAG 运行时和完成后对其进行分析。

## YARN Timeline and Hadoop Versions ##

考虑到只在 Apache Hadoop 2.6.0 中实现了对具有完全安全性的 YARN 时间轴的支持，有些特性可能不受支持，这取决于使用的是 Apache Hadoop 的哪个版本。

<table> 
 <thead> 
  <tr> 
   <th>&nbsp;</th> 
   <th>Hadoop 2.2.x, 2.3.x</th> 
   <th>Hadoop 2.4.x, 2.5.x</th> 
   <th>Hadoop 2.6.x and higher</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Timeline Support</td> 
   <td>No</td> 
   <td>Yes</td> 
   <td>Yes</td> 
  </tr> 
  <tr> 
   <td>Timeline with ACLs Support</td> 
   <td>No</td> 
   <td>No</td> 
   <td>Yes</td> 
  </tr> 
 </tbody> 
</table>

## Configuring Tez to use YARN Timeline ##

默认情况下，Tez 将其历史数据写入 HDFS 上的文件。要使用时间轴，请将以下属性添加到您的 tez-site.xml：

<property>
       <name>tez.history.logging.service.class</name>
       <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
    </property>

Tez 0.4.x，上面的配置不支持，0.4.x 及以上版本使用以下：

<property>
       <name>tez.yarn.ats.enabled</name>
       <value>true</value>
    </property>

在 Apache Hadoop 2.4 中使用 Tez 时。x或2.5。x，鉴于这些版本并不完全安全，以下属性也需要启用：

<property>
       <name>tez.allow.disabled.timeline-domains</name>
       <value>true</value>
    </property>

# Tez 访问控制 #

Tez 的访问控制可以分为以下几类：

*  修改 Tez AM(或会话)的权限。持有此许可证的用户可以：
    
     *  Submit a DAG to a Tez Session
     *  Kill any DAG within the given AM/Session
     *  Kill the Session
 *  查看 Tez AM(或会话)的权限。持有此许可证的用户可以：
    
     *  Monitor/View the status of the Session
     *  Monitor/View the progress/status of any DAG within the given AM/Session
 *  修改特定 Tez DAG 的权限。持有此许可证的用户可以：
    
     *  Kill the DAG
 *  查看特定 Tez DAG 的权限。持有此许可证的用户可以：
    
     *  监视/查看DAG的进度/状态

从上面可以看到，可以访问 AM 上的操作的所有用户/组也可以访问该 AM/会话内的所有 DAGs 上的类似操作。另外，在默认情况下，Tez AM 的所有者，即启动 Tez AM 的用户，被认为是超级用户，可以访问 AM 上的所有操作以及 AM/会话中的所有 DAGs。

在 Tez 0.5.0中引入了对 acl 的支持。这些 acl 与 YARN 时间线的集成只能从 Tez 0.6.0起使用。

## ACLs and the Tez UI ##

对于支持 acl 的 YARN 时间轴服务器的版本，UI 将尊重此类安全集群的 acl。例如，当特定的经过身份验证的用户在 UI 上查看“All DAGs”页面时，将只显示用户可以访问的 DAGs。

## How to setup the ACLs ##

默认情况下，在 Tez 中总是启用 acl。要禁用 acl，请设置以下配置属性：

<property>
       <name>tez.am.acls.enabled</name>
       <value>false</value>
    </property>

### YARN Administration ACLs ###

YARN 管理 acl 由集群级别的配置驱动。YARN 管理员被授予 AM 级别查看和修改权限。当前的一个限制是对 cluster wide yarn.admin 的修改。当 AM 运行时，acl 配置不会反映在 AM 视图和修改 acl 中。要设置 acl，需要定义以下属性：

<property>
       <name>yarn.admin.acl</name>
       <value></value>
    </property>

该值的格式是一个以逗号分隔的用户和组列表，其中的用户和组由一个空格分隔。例如“user1、user2 group1, group2。”要允许所有用户执行给定的操作，可以指定值“\*”。

### AM/Session Level ACLs ###

AM/Session 级acl由配置驱动。要设置acl，需要定义以下属性：

<property>
       <name>tez.am.view-acls</name>
       <value></value>
    </property>
    <property>
       <name>tez.am.modify-acls</name>
       <value></value>
    </property>

### DAG ACLs ###

在某些情况下，应用程序可能需要在给定会话中运行 DAGs 以获得不同的访问权限。在这种情况下，可以通过 DAG API 以编程方式指定每个 DAG 的 acl。在您正在使用的 Tez 版本的 API 文档中查找 DAG::setAccessControls。在这个场景中，需要注意的是，会话 acl 的定义应该只指定超级用户，以确保其他用户不会意外地访问给定会话中的所有 DAGs 的信息。

# 将特定于应用程序的数据嵌入到 Tez UI 中 #

Tez UI 主要是基于存储在 YARN 时间轴中的数据构建的。目前，Tez API 为将特定于应用程序的数据注入同一存储层的应用程序提供了一些最低限度的支持。通过遵循定义良好的格式，使用通用标准指南，也可以在 Tez UI 中显示这些数据。

## 设置 DAG-level 信息 ##

要设置 DAG 级别信息，使用的 API 是 DAG::setDAGInfo。(请参阅Javadocs以获得更详细和最新的信息)

setDAGInfo() API 期望 a 是传递给它的字符串。该字符串建议为 json 编码的值，用户界面识别的键如下：

*  “context”: 使用此 DAG 的应用程序上下文。例如，如果作为 Hive 或 Pig 脚本的一部分运行，可以将其设置为“Hive”或“Pig”。
 *  “description”: DAG 的一般描述。在 Hive 的情况下，这可以是 SQL 查询文本。

默认情况下，作为 tez-runtime-library 的一部分的输入/输出/处理器不会通过 setHistoryText()  API 发布它们的配置信息。为此，需要启用以下属性：

<property>
       <name>tez.runtime.convert.user-payload.to.history-text</name>
       <value>true</value>
    </property>

请注意，这是一个数据量很大的操作，在 TimelineServer 上增加了很多负载(由于生成的配置数据量很大)，因此大多数作业都应该禁用该操作，除非确实需要进行调试。

## 在 Tez UI 中使用 DAG 信息和历史文本 ##

如果 DAG 信息和历史文本中的数据设置符合 UI 所期望的格式，那么它将以一种易于使用的方式显示在 Tez UI 中。在不可能这样做的情况下，UI 可能会退回到完全不显示数据或以安全的方式显示字符串的状态。

# Tez UI 概述 #

Tez UI 依赖于应用程序时间轴服务器，它的角色是在 YARN 应用程序生命周期中生成的应用程序数据的后备存储。

Tez 提供了自己的 UI，该 UI 与应用程序时间轴服务器接口，并在 Tez UI web 应用程序中显示 Tez 应用程序的活动视图和历史视图。

## 为 Tez UI 设置 Tez ##

为Tez UI设置Tez

为了让 Tez 拥有一个功能性的 UI，并让历史链接从 YARN ResourceManager UI 中正确工作，需要在 Tez -site.xml 中启用以下设置：

tez-site.xml
    -------------
    ...
    <property>
      <description>Enable Tez to use the Timeline Server for History Logging</description>
      <name>tez.history.logging.service.class</name>
      <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
    </property>
    
    <property>
      <description>URL for where the Tez UI is hosted</description>
      <name>tez.tez-ui.history-url.base</name>
      <value>http://<webserver-host:9999/tez-ui/</value>
    </property>
    ...

## 部署 Tez UI ##

tez-ui.war 可以通过三种方式获得：

*  给定版本的二进制工件中生成war。二进制工件不是所有版本都可用的，在这种情况下，请使用下面列出的任何其他选项。
 *  获得 tez-ui.war 对于给定的发布，从 Maven repo 获取。
 *  SourceCode 构建 tez-ui.war。有关详细信息，请参阅tez-ui模块中的README.txt。

### 配置时间轴服务器 URL 和资源管理器 UI URL。 ###

默认情况下，Tez UI 尝试使用与 Tez UI 相同的主机连接到时间轴服务器。例如，如果 UI 托管在 localhost 上，则时间轴服务器URL 被假定为 http(s)://localhost:8188，资源管理器 web URL 被假定为 http(s)://localhost:8088。

如果时间轴服务器和/或资源管理器托管在不同的主机上，Tez UI 需要在 scripts/config .js 中配置相应的更改(在提取的 Tez - UI .war 中)。取消以下行注释，并适当地设置主机名和端口。“timelineBaseUrl” 映射到 YARN 时间轴服务器，“RMWebUrl” 映射到 YARN 资源管理器。

// timelineBaseUrl: 'http://localhost:8188',
    // RMWebUrl: 'http://localhost:8088',

### Hosting the UI in Tomcat. ###

1.  移除旧的部署 $TOMCAT\_HOME/webapps
2.  把 war 文件导入  $TOMCAT\_HOME/webapps/tez-ui/
3.  根据需要修改 scripts/config.js 
4.  Restart tomcat and the UI should be available under the tez-ui/ path.

### Hosting the UI 使用任意单机 webserver ###

1.  解压缩 war 文件
2.  根据需要修改 scripts/config.js 
3.  将结果目录复制到web服务器的文档根目录。
4.  Restart the webserver

## 应用程序时间轴服务器的其他设置步骤 ##

*Requires*: **Apache Hadoop 2.6.0 or above**

需要在 yarn-site.xml 中设置以下配置，以便在与 Tez UI 相关的时间轴服务器上正确地执行功能行为。如果在分布式设置中运行，用实际的主机名替换 localhost。

<property>
      <description>Indicate to clients whether Timeline service is enabled or not.
      If enabled, the TimelineClient library used by end-users will post entities
      and events to the Timeline server.</description>
      <name>yarn.timeline-service.enabled</name>
      <value>true</value>
    </property>
    
    <property>
      <description>The hostname of the Timeline service web application.</description>
      <name>yarn.timeline-service.hostname</name>
      <value>localhost</value>
    </property>
    
    <property>
      <description>Enables cross-origin support (CORS) for web services where
      cross-origin web response headers are needed. For example, javascript making
      a web services request to the timeline server.</description>
      <name>yarn.timeline-service.http-cross-origin.enabled</name>
      <value>true</value>
    </property>
    
    <property>
      <description>Publish YARN information to Timeline Server</description>
      <name> yarn.resourcemanager.system-metrics-publisher.enabled</name>
      <value>true</value>
    </property>

# Tez Shuffle Handler 概述 #

Tez 指定 shuffle handler 允许 Tez DAGs 利用 Tez 的新功能 shuffle 数据。Tez shuffle handler 允许 DAGs 更有效地为 Tez 的新数据移动类型和运行时优化(如自动减少并行)洗牌数据。长时间运行的 Tez 会话将能够为已完成的查询清理中间数据，而 Tez 应用程序可以决定为正在运行的应用程序清理已完成的中间数据。

## Tez Shuffle Handler 设置 ##

*Requires*: **Apache Tez 0.9.0 or above**

客户端中的配置指定 Tez shuffle 处理程序

tez-site.xml
    -------------
    ...
    <property>
      <name>tez.am.shuffle.auxiliary-service.id</name>
      <value>tez_shuffle</value>
    </property>
    ...

## Tez Shuffle Handler 部署 ##

Tez Shuffle 处理程序 jar artifact org.apache.org: Tez -aux-services 需要放在节点管理器类路径中并重新启动

## Node Manager 设置 ##

*Requires*: **Apache Hadoop 2.6.0 or above**

需要在节点管理器 yarn-site.xml 中设置以下配置，以启用 Tez Shuffle 处理程序

yarn-site.xml
    -------------
    ...
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>tez_shuffle</value>
    </property>
    
    <property>
      <name>yarn.nodemanager.aux-services.tez_shuffle.class</name>
      <value>org.apache.tez.auxservices.ShuffleHandler</value>
    </property>
    ...

# Tez 本地模式 #

Tez 本地模式是一种测试 Tez 作业的开发工具，不需要启动 Hadoop 集群。本地模式运行 Tez 组件 AppMaster、TaskRunner，这些组件在集群上执行作业时使用。从开发人员工具的角度来看，它提供了几个优点。

*  快速原型 Hadoop 设置，启动成本等不涉及。
 *  单元测试快速执行，因为分配资源、启动 jvm 等的开销被消除了。
 *  易于调试的单个 JVM 运行所有用户代码。

虽然大多数组件在本地模式下重用，但也有一些组件不是

*  调度和容器重用是不同的。
 *  yarn 本地资源的处理。本地模式期望在执行时客户端加载必要的 jar。
 *  包含一些性能改进，比如跳过 RPC 调用，因为所有内容都在同一个 JVM 中运行。

在本地模式下运行 DAG

*  “tez.local.model” 在用于创建 TezClient 的 confgiuration 实例中，应该设置为 true。
 *  文件系统必须配置为本地文件系统(“fs.default.name” must be set to “file:///”)。这需要在所有用于创建 DAG 的配置实例中进行设置。通常，在不使用 Hadoop 集群的情况下使用 Tez 进行测试和原型设计时，这不是问题。当 Hadoop 配置文件位于类路径中，并配置了一个不同的默认文件系统时，就会出现问题。
 *  设置获取器以使用本地读取，而不是从远程节点获取。(“tez.runtime.optimize.local.fetch” must be set to true)
 *  除此之外，使用本地模式而不是在集群上运行作业，不需要进行其他更改。
 *  如果在代码中使用此配置，则应该对配置进行以下更改，然后此配置实例将成为所有其他配置实例的基础。

Configuration conf = new Configuration();
    conf.setBoolean(TezConfiguration.TEZ_LOCAL_MODE, true);
    conf.set("fs.default.name", "file:///");
    conf.setBoolean(TezRuntimeConfiguration.TEZ_RUNTIME_OPTIMIZE_LOCAL_FETCH, true);

*  如果使用一个 tez-site.xml 配置文件，它应该包含以下条目

<property>
      <name>fs.default.name</name>
      <value>file:///</value>
    </property>
    <property>
      <name>tez.local.mode</name>
      <value>true</value>
    </property>
    <property>
      <name>tez.runtime.optimize.local.fetch</name>
      <value>true</value>
    </property>

## **需要注意的事情** ##

*  在当前本地模式下，大量输入数据可能导致 JVM 内存不足，因为所有 TEZ 组件都在单个 JVM 中运行。输入数据的大小应该保持较小
 *  tezam .inline.task. execution\_max\_tasks (tez.am.inline.task.execution.maxtasks)不应该被更改(默认值为1)。
 *  “tez.history.logging.service.class” 应该是默认值: “org.apache.tez.dag.history.logging.impl.SimpleHistoryLoggingService”.这意味着 ATS 在当前本地模式下是禁用的。

## **从本地模式迁移到实际集群时可能出现的问题** ##

*  资源需求(CPU、内存等)本来是为 yarn 集群指定的，现在将开始生效，应该加以考虑。
 *  为 DAG 设置的 Java 选项和环境变量在本地模式下不起作用，可能是迁移问题的根源。
 *  当在本地模式下运行时，ObjectRegistry 将在单个任务中工作。在实际的集群中，行为会有所不同，它会在共享同一个容器的任务之间工作。

## **带有外部服务的本地模式** ##

*  在本地模式下运行时，常规的容器执行被转换为在相同的进程中运行，而不是启动容器。
 *  配置为在外部服务中运行的执行不受影响，并尝试使用这些外部服务执行。如果以这种方式配置，请确保在尝试使用本地模式时外部服务正在运行。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70]: /images/20230312/279dd2ff48b1471799fff16e92d5e43b.png