学术顶会再突破！计算平台MaxCompute论文入选国际顶会VLDB 2021

缺乏、安全感 2022-09-09 09:28 138阅读 0赞

**简介：** VLDB 2021上，阿里云计算平台MaxCompute参与的论文入选，核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。

## 一、顶会概览 ##

VLDB 2021上，阿里云计算平台MaxCompute参与的论文入选，核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。

作为数据管理与数据库领域三大顶级学术会议之一，VLDB每年都吸引了各大高校、科研机构与科技公司的论文投稿，许多重要技术成果都在VLDB上中选发布。

多篇研究成果的发布离不开25位计算平台布道师和达摩院布道师花费大量时间撰写和修改，布道师们通过撰写论文和参加学术会议，借助布道的力量，传播阿里云技术优势，为推动开放共赢的云计算生态作出积极贡献。

## 二、首次提出多种执行模式和调度策略混合的动态设计 ##

Fangorn在业界首次提出通过混合执行模式来管理分布式作业的设计，允许执行框架自动探索性能与资源利用间的最佳平衡。 其采用的组件间轻耦合的分层架构，能根据实时数据统计信息，对分布式作业进行多层次的动态调整，为MaxCompute以及PAI平台上的多种计算作业提供自适应的最优执行计划。

”如何在超大规模集群和系统中，同时管理多种计算负载的问题，是当前业界数据公司的重点研究方向“，Fangorn在这些方向上的创新，以及在MaxCompute等多个生产平台上的全面落地，为分布式系统的多层次优化打开了大门。

![图片 1.png][1.png]

Fangorn执行框架整体架构

## 三、首个基于TVR Cost模型的通用增量计算优化器框架 ##

Tempura提出了一种介于传统流处理和批处理之间的全新增量计算模式，结合批处理的高资源利用率和流处理低延迟的优势，提供了在计算资源消耗、执行时间调度、查询延迟、数据处理粒度等方面的灵活权衡。提出了世界上首个基于TVR Cost模型的通用增量计算优化器框架，在集成众多现有增量计算方法的同时，用户可以随时增添任意自定义增量计算方法。

世界上首个落地生产的渐进式优化项目，在MaxCompute渐进式智能数据仓库业务中广泛使用，相比传统批处理，在缩短作业运行时间的同时，节省大量计算资源。

![图片 2png.png][2png.png]

## 四、阿里云布道师、论文作者： ##

论文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on

Shared Clusters

陈颖达、王家忙、陆一峰、韩颖、吕志强、闵雪宾、才华、张炜、范浩川、李超、关涛、林伟、贾扬清、周靖人

论文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing

王作至、曾凯、黄柏彤、陈唯、崔晓宗、王博、刘吉、樊莉亚、渠大川、侯震宇、关涛、李晨、周靖人

## 五、延伸阅读： ##

VLDB全称International Conference on Very Large Date Bases，是数据库领域的顶级学术会议，和SIGMOD、ICDE共同构成了数据管理与数据库领域的三大顶级会议。本次2021大会共收录了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。

论文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters（[http://vldb.org/pvldb/vol14/p2972-chen.pdf][http_vldb.org_pvldb_vol14_p2972-chen.pdf]）

论文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing（[http://www.vldb.org/pvldb/vol14/p14-wang.pdf][http_www.vldb.org_pvldb_vol14_p14-wang.pdf]）

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_6YeM5LqR5LqR5qCW5Y-3_size_20_color_FFFFFF_t_70_g_se_x_16][]

[原文链接][Link 1]

本文为阿里云原创内容，未经允许不得转载。

[1.png]: /images/20220829/2436f4bade374e9aa9e2fea99f54c448.png
[2png.png]: /images/20220829/d4d74ca0ea824dfe93b24d7d46ad1cad.png
[http_vldb.org_pvldb_vol14_p2972-chen.pdf]: http://vldb.org/pvldb/vol14/p2972-chen.pdf
[http_www.vldb.org_pvldb_vol14_p14-wang.pdf]: http://www.vldb.org/pvldb/vol14/p14-wang.pdf
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_6YeM5LqR5LqR5qCW5Y-3_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/a6ebbc49b9b0489abd5a2e94ab23eadc.png
[Link 1]: http://click.aliyun.com/m/1000292468/