什么是扩展现实（XR）？云XR系统怎样实现？终于有人讲明白了

àì夳堔傛蜴生んèń 2022-10-29 11:30 191阅读 0赞

![format_png][]

**导读：**5G大潮下的VR/XR/AR云化探索。

作者：林瑞杰 冯林 温向东 陈乐 等

来源：大数据DT（ID：hzdashuju）

![format_png 1][]

我国政府正在积极推动虚拟现实技术的全面发展。**虚拟现实**（含增强现实）已被列入“十三五”信息化规划等多项重要文件中，国务院各部门均已出台相关政策，各省市地方政府也从政策方面积极推进虚拟现实产业布局，已有十余地市相继发布了针对虚拟现实领域的专项政策。

随着5G技术的不断发展与完善，以及5G的试点和商用落地进程的加快，探索面向消费者的低延时、高带宽的业务和场景，已经成为运营商需要完成的重点工作。在诸多业务形态中，**扩展现实（Extended Reality，XR）有望成为新一代计算平台。**而云XR 是推进XR大规模应用的最佳形态和发展趋势，将成为5G时代的典型应用之一。

为了实现智慧校园网关和AR（Augmented Reality，增强现实）、XR交互式智慧教学，打造教育行业核心能力，中国移动（成都）产业研究院提出了基于5G技术、边缘计算、云XR技术，构建5G环境下智慧校园的解决方案，提升中国移动在5G时代教育行业的市场份额和行业影响力，从而全面带动产业经济发展。

具体来说，就是**建设具备虚拟****化****数字存储、管理、分发等功能的虚拟现实教育内容云XR平台**，将第三方硬件设备厂商、第三方平台提供厂商资源和VR教育内容整合于一体，为跨行业、多领域的教育培训平台提供整套解决方案。

基于以上背景，目前中国移动运营商正在推进面向5G的云XR关键技术的研究工作：

1.  基于TCP、UDP分别实现云XR系统，并对比整体接入性能差异；
2.  将云XR系统移植到GPU虚拟化环境中，并进行最大并行用户数压力测试。

同时，运营商也在积极推进将XR头盔接入云渲染平台中软件开发工具包功能的开发工作：基于5G云XR终端实现相关功能，达到XR头显接入云系统的目的。目前已有2～3家主流XR头显可以正常接入，并能进行业务展示。

**01 关键技术和系统设计**

**1. 关键技术**

XR终端安装云XR终端服务**APK**（Android Application Package，Android应用程序包），通过APK采集用户姿态、方位及操控信息，并按照OpenVR、WebGL、WebVR、WebXR规则进行转换，然后通过上行**FTTB**（Fiber To The Building，光纤到楼）+Wi-Fi网络或5G网络传输到**云渲染服务器**。

云渲染服务器根据用户终端上传的信息和业务逻辑，捕获应用的运行结果，然后调用GPU资源对画面进行渲染，最后将结果回传至用户终端。

云渲染服务器抓取渲染后的音频、视频，并利用通用音、视频编码器（音频编码支持AAC，视频编码支持H.264和H.265）将其压缩成通用格式，然后通过下行FTTB+5G网络传输到AR、VR终端，支持TCP、UDP两种网络传输协议。

AR、VR终端将音、视频流数据解码后完成相应的处理，最后将声音和画面传输到用户终端设备。

用户根据应用画面显示信息实现对应的操作，完成应用体验。

AR、VR终端支持投屏服务，可以将头显上的显示内容投射到对应的机顶盒或电视机上，以便于头显用户之外的用户也能旁观。

**2. 系统设计**

云XR平台由云端和终端系统软件两部分组成。云XR平台总体框架如图1所示。

![format_png 2][]

▲图1 云XR系统架构图

*  **云端系统**

云XR平台云端系统由能力平台、统一运营平台、业务支撑平台三部分组成。

*  **能力平台**

**能力平台由云流化管理系统、云渲染系统、云编辑系统、云控制系统、XR视频系统组成。**

**云流化管理系统**由中心管理、分前端管理、应用运行平台三部分组成，中心管理系统由管理网站、统一会话调度管理系统组成。分前端管理系统主要是指会话资源管理系统。应用运行平台主要承载应用的运行，以及应用结果的渲染流化处理。

**云渲染系统**由云渲染服务、实时编码服务、云流化服务三部分组成，主要负责对应用的运行结果进行实时渲染，并编码流化发送至终端。

**云编辑系统**由内容存储服务、内容编辑生成服务、内容上传服务三部分组成。用户在PC上登录云XR在线编辑平台，该平台对用户导入的全景内容进行编辑（添加三维模型、全景内容运行逻辑等），然后通过云渲染服务器渲染和编码编辑好的内容，最后通过5G网络将压缩后的XR内容传输到XR头显设备，用户通过终端解码即可看到已经编辑完毕的XR内容。

**云控制系统**由设备管理服务、消息分发服务、内容控制服务三部分组成，通过浏览器可以进行如下操作：启动、查看终端状态、在终端安装对应的云控制APK。管理员可以通过Web页面对接入平台的终端进行控制，通过消息分发控制子终端中应用的启动和停止，并将云端渲染后的内容流分发至指定头盔，以实现终端用户的VR内容体验。

**XR视频**系统支持多路高清远程VR授课，配套带有大量的VR教学内容，支持大规模远程同步启动。一体化全景直播相机可以将实时拼合好的4K、8K高清全景视频流实时传输到云端，或者传输到多路单目视频流，并利用5G网络推流到VR一体机、大屏幕等终端以供观看。

云端存储了大量的VR内容应用，在本地控制终端，可以实现云端虚拟现实应用的统一播放。通过5G网络，系统运维人员可以即时监控所有虚拟现实一体机的设备状态，实现虚拟现实内容的大规模同步启动。

![format_png 3][]

*  **统一运营平台**

**统一运营平台由统一门户、业务管理、统一认证模块三部分组成。**

**统一门户**主要用于管理用户终端界面（UI）展示的内容，包括基础数据、页面管理和图片管理等。

**业务管理**系统主要用于管理业务相关数据，如用户管理、充值管理、会员管理等。

**统一认证模块**主要用于用户登录业务鉴权，以及管理用户在系统中的付费操作，提供支付通道。

*  **业务支撑平台**

业务支撑平台由数据运营分析系统和统一监控模块两部分组成。

**数据运营分析系统**提供了分析和查看经营与使用相关综合数据的功能，并为经营策略的修正、平台建设的改进提供了数据支撑和依据。

**统一监控模块**用于监控云XR平台下各服务器和平台模块的运行状态、服务器资源占用情况。

*  **终端系统**

云XR终端系统用于实现与云端的协议交互、操作指令等数据的回传，以及流解码播放等功能，需要集成云XR平台的终端系统软件。

云XR平台要求终端具备视频解码能力、XR显示能力和交互能力，因此需要终端提供较好的性能。云XR平台支持三种形式的客户端作为终端设备，分别是：云VR机顶盒+PC VR头显、XR一体机、手机+XR眼镜盒子。

**02 应用实践**

基于5G云XR的教育平台将在南昌师范附属实验小学、南昌航空大学附属小学、江西移动106个移动营业厅陆续落地。

中国移动在5G业务上的定位为：综合服务提供商、技术研发/服务商、云服务平台以及终端设备商。通过与云游戏、云VR 技术公司的合作，中国移动将逐步实现其在5G业务上的目标定位。

**关于作者：林瑞杰**，中国信息通信研究院5G数字文创研究中心副主任，高级工程师。5G云游戏产业联盟秘书长，全国电信终端产业协会云游戏工作委员会主席。专注于移动互联网与软件、5G新应用，特别是5G云游戏的行业研究、技术研究、标准制定、测评体系构建，是国内云游戏产业发展的积极推动者与践行者。

**冯林**，咪咕互动娱乐有限公司CEO、5G云游戏产业联盟理事长、中国文化娱乐协会副会长。拥有24年通信和互联网行业研究及管理经验，在云游戏技术领域具有非常深厚的积累，是云游戏ITU国际标准的核心贡献者之一。

**温向东**，云鹭科技CEO，白鹭科技合伙人，5GCGA云原生游戏工作组主席。前光宇副总裁、Discuz! 副总裁、腾讯广点通总监。完整经历端游、页游、手游、小游戏、云游戏时代，从0到1推动小游戏行业，并成功打造白鹭引擎H5游戏领先品牌。

**陈乐**，星游纪CEO，5GCGA国际合作与交流工作组主席，20年IT及游戏行业从业经验，海外精品主机游戏上云的先行者。曾担任Unity Games中国区总经理、育碧Ubisoft中国发行部总经理、第九城市运营总经理等。

本文摘编自《云游戏：5G开启数字娱乐新时代》，经出版方授权发布。

![format_png 4][]

延伸阅读《云游戏：5G开启数字娱乐新时代》

点击上图了解及购买

转载请联系微信：DoctorData

**推荐语：**5G云游戏产业联盟出品，产业、技术、商业3维度展开，金山云CEO、完美世界总裁、盛趣游戏CEO联袂推荐。

![音符][format_png 5]

**划重点????**

**干货直达????**

*  [揭秘Deepfake换脸视频背后的技术细节][Deepfake]  
    
 *  [盘点最重要的7个Python库][7_Python]  
    
 *  [手把手教你用ECharts画饼图和环形图][ECharts]  
    
 *  [终于有人把智能语音处理讲明白了][Link 1]

**更多精彩****????**

在公众号对话框输入以下**关键词**

查看更多优质内容！

**PPT** | **读书** | **书单** | **硬核** | **干货**** **| **讲明白 **|** 神操作**

**大数据** | **云计算** | **数据库** | **Python** | **可视化**

**AI** | **人工智能** | **机器学习** | **深度学习** | **NLP**

**5G**** **|** 中台 **|** 用户画像**** **| **1024** | **数学 **|** 算法 **| **数字孪生**

据统计，99%的大咖都完成了这个神操作

**????**

![format_png 6][]

![format_png 7][]

[format_png]: /images/20221024/3b2adb39dca54ffaa039d925df8b8ec5.png
[format_png 1]: /images/20221024/f2e39f0efe7d4b52b46ee5d7f9990018.png
[format_png 2]: /images/20221024/f821293288244c19a180d1453b6bf34b.png
[format_png 3]: /images/20221024/fb5bb2e88cf34a6bb12d26a9cdf0be95.png
[format_png 4]: /images/20221024/c8f292cc41774aefa7c2e6fc10f32f92.png
[format_png 5]: /images/20221024/632f2ee99741431d9ad7c18e522c17ed.png
[Deepfake]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd492dbfb5d84fed1c4f1242c6422f7b3cf5fdc5a69e20d960eb099ab50c018134fe0de9b&idx=2&mid=2247523710&scene=21&sn=1acc545c2ca7709281dd6ce020dffc12#wechat_redirect
[7_Python]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd5b9dbfb5caf401cc3f3540d681326e9e422dee280053a9b1ee19ad00c1a4ae34e32159b&idx=2&mid=2247523413&scene=21&sn=1789a8af915d9fe1883023b243fe7301#wechat_redirect
[ECharts]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd217dbfb5b0136c8d6799b66811a08febb0ba421b4c71246873b8ff386769fe5450e6b4d&idx=2&mid=2247523323&scene=21&sn=ac042be2cf5d1b2899e51bcdc4d8b242#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd315dbfb5a031a03fb1965abca4e607e5877ac2a3862be91acfdb1604c01896bca672dc9&idx=2&mid=2247523065&scene=21&sn=46f7b04c4cbfe1dac00ae39e0d3dd5da#wechat_redirect
[format_png 6]: /images/20221024/525d1dcf153c49acbd9e59c3bda8e603.png
[format_png 7]: /images/20221024/011b8f679863479c93361b19e79d6805.png