VMware宣布Big Data Extensions 2.0 GA

桃扇骨 2022-04-04 08:46 180阅读 0赞

vSphere Big Data Extensions (BDE) 的最新2.0 版支持 主要Hadoop 软件供应商提供的所有当前版本，包括YARN 以及 Hadoop 2.0。BDE 2.0 还可以创建仅包含基础架构的集群，暨一组已安装客户机操作系统的虚拟机。随后，您可以使用您满意的 Hadoop安装和管理工具来执行群集的部署和日常管理。BDE模板虚拟机中包含新版 CentOS (6.4)，以提高Hadoop/YARN 应用程序的性能。这一版本还提高了对各种BDE 服务的运行状况检查能力，以提供一个更加友好的使用环境。

**主题**

**支持最新的** **Hadoop 版本与** **Hadoop2.X 和 YARN（Yet Another ResourceNegotiator）**

在将应用迁移到新基础架构（例如 Hadoop 2.0 和 YARN）方面，客户已经表现出一定的兴趣。目前，大多数 Hadoop软件供应商支持 Apache Hadoop 版本 2.X （最新版本）。与旧版本相比，这一新版本有着显著的变化。新版本包含 YARN，这对于Hadoop 应用程序的开发人员和部署人员而言，是一种不同的模式。本质上，Hadoop 1.0 的 Job Tracker 已经在 YARN 中重新构造，成为调度器和资源管理器；而Application Master这一新组件承担了控制应用程序流的职责。更改YARN 中的模式是为了提供关注点分离、实现更高的扩展性和更好的资源利用率。从此以后，YARN 将成为使用 Hadoop 平台的程序的构造模式。

VMwarevSphere BDE 自2013年起开始支持部分 YARN 发行版。此最新版 BDE (2.0) 支持 YARN/2.0 的所有发行版。

下表显示了BDE 2.0所支持的Hadoop发行版。《vSphere BDE 管理员和用户指南》中包含有关这一方面的详细信息，请访问[http://www.vmware.com/bde][http_www.vmware.com_bde]。

**Hadoop** **发行版支持列表**

<table> 
 <tbody> 
 <tr> 
 <td>发行版&nbsp;</td> 
 <td>支持的版本&nbsp;</td> 
 </tr> 
 <tr> 
 <td>Apache Hadoop</td> 
 <td>2.0 1.2.1&nbsp;&nbsp;</td> 
 </tr> 
 <tr> 
 <td>Apache BigTop</td> 
 <td>0.7.0</td> 
 </tr> 
 <tr> 
 <td>Cloudera&nbsp;&nbsp;</td> 
 <td>5.0.0 4.6.0&nbsp;&nbsp;</td> 
 </tr> 
 <tr> 
 <td>Hortonworks&nbsp;</td> 
 <td>2.1, 2.0&nbsp;&nbsp; 1.3&nbsp;</td> 
 </tr> 
 <tr> 
 <td>Intel</td> 
 <td>3.0.22.5</td> 
 </tr> 
 <tr> 
 <td>MapR&nbsp;</td> 
 <td>3.1 3.0.2</td> 
 </tr> 
 <tr> 
 <td>Pivotal&nbsp;</td> 
 <td>2.0, 1.1</td> 
 </tr> 
 </tbody> 
</table>

**Hadoop 性能**

虚拟机中的 Hadoop 应用程序性能是客户感兴趣的主要领域之一。

目前BDE2.0使用CentOS 6.4 作为虚拟机模板的默认操作系统，BDE 使用该模板创建新虚拟机并利用操作系统的新功能来优化 Hadoop 性能。如果用户想将自己喜欢的CentOS 或 RedHat Enterprise Linux 用作虚拟机操作系统，也可以在 BDE 中进行更改操作。

**易于使用**

**运行状况检查**

BDE 2.0 提供一组运行状况检查屏幕，使用户可以查看 BDE/Serengeti 服务的状态。

以下是两个 BDE 这项新增功能示例，显示环境中的所有服务正在运行，且状况良好。

[![wKiom1Oir3eS4IdKAAFIl4TdBL4419.jpg][]][wKiom1Oir3eS4IdKAAFIl4TdBL4419.jpg]

您还可以通过下面显示的第二个运行状况检查屏幕，确保所有管理服务器进程已成功完成。

[![wKioL1Oir6Dy4-PGAAGLXawiNdI902.jpg][]][wKioL1Oir6Dy4-PGAAGLXawiNdI902.jpg]

**错误检查**

其次，目前已有了改进的预先检查功能，可以确保用户在启动一组虚拟机的置备流程之前，选择了合理的配置，例如，为客户机操作系统磁盘、交换空间等分配合理的存储空间量。这些前提条件由 BDE GUI 强制检查，用户可以根据需要使用 Serengeti 命令行执行操作，回避检查 。

**用于管理网络的****IPv6**

客户希望尽可能多的使用 IPv6 网络连接。BDE 2.0 支持IPv6 网络连接。Hadoop网络本身可以使用 IPv4 进行隔离，而 BDESerengeti Server 可以使用 IPv6 进行工作。

**合作伙伴启用**

**与第三方管理工具集成**

目前可以使用 BDE 部署 “仅包含基础架构”的虚拟机群集（暨， 包含客户机操作系统，但未安装 Hadoop 软件的虚拟机），稍后通过第三方管理工具向其添加用户需要的特定Hadoop 软件。您可以使用此 BDE 2.0 功能置备一组虚拟机，然后使用Cloudera Manager、Ambari 或Pivotal Command Center 之类的工具部署和管理这些虚拟机中的 Hadoop 软件组件。

作为概念验证的一部分，我们展示了可以把这种两步部署流程做成工作流，由VMware vCloud Automation Center (vCAC) 管理工具集控制。本方案使用BDE API 创建虚拟机，然后在这些虚拟机中使用 Cloudera Manager API 来安装和配置 CDH。这个解决方案的演示可从此处获取: http://v.youku.com/v\_show/id\_XNzI4OTM4NjU2.html，并在 2014 年 6 月的Hadoop 峰会上展示。

**国际化支持**

BDE2.0 提供级别 1 的国际化支持。对于希望使用 BDE 界面的日本客户和中国客户，将提供本地语言支持。

[http_www.vmware.com_bde]: http://www.vmware.com/hadoop
[wKiom1Oir3eS4IdKAAFIl4TdBL4419.jpg]: /images/20220404/ab0a68961b0b4ac8909170090a91fae9.png
[wKioL1Oir6Dy4-PGAAGLXawiNdI902.jpg]: /images/20220404/e205c4f9209541cd96a9b87504803948.png