MSE技术和wasm技术发展

向右看齐 2022-11-18 01:22 253阅读 0赞

https://blog.csdn.net/shadow\_zed/article/details/106850049  
H5直播之MSE(Media Source Extensions)

wasm与mse技术的结合，给安防带来哪些新突破？

随着目前各大浏览器对wasm技术的支持，以及w3c对wasm标准的肯定，wasm技术就可以非常完美地解决安防可视化场景中对H.265编码格式的支持了。

作者：TSINGSEE青犀视频  
链接：https://www.zhihu.com/question/418084927/answer/1439462469  
来源：知乎  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

WebAssembly技术的特点就是采用js/c/c++前端解码的方式，将实时视频解码播放，这种非常符合目前流行的边缘计算的概念，虽然也只是解码计算，但wasm对视频解码计算的支持也许只是H5视频边缘计算的开始。通过wasm技术与mse技术的结合，网页播放H.265编码视频有了以下优势：更经济：H.265技术在码率上进行了深度优化，同等画质下，可以比H.264节省近50%码率，这将使存储成本大大降低。我们来对比一下H.264和H.265百路1080P视频一个月的存储成本，以H.264的4M码率为例：对于100路视频，H265要比H.264少用约62T磁盘空间，以4T硬盘为例，可以节省平均15.5块硬盘，约合1.5万元，成本优势显而易见。更清晰：安防领域高清化已经成为必然趋势，720P、1080P视频已广泛普及，而4K、8K超清视频也已开始出现。高分辨率带来的视频信息量的增长远比网络带宽增长速度快。H.265编码可以弥补网络带宽的限制，让超清视频轻松传输，在同等带宽条件下，H.265可将原有画质提升50%，增强用户的视觉体验。更智能：支持H.265的编解码芯片比传统监控芯片更为强大，基于这些芯片可扩展更多的智能分析应用。以天地伟业推出的300W像素H265相机为例，内部集成了拌线、周界、物品遗留值岗、人脸检测、人群聚集、音视频异常诊断等多种智能分析算法，H.265+智能分析，让监控更轻松。

MSE

在介绍 MSE 之前，我们先看看 HTML5和 有哪些限制。

HTML5 和 标签的限制

不支持流
    不支持 DRM 和加密
    很难自定义控制, 以及保持跨浏览器的一致性
    编解码和封装在不同浏览器支持不同

MSE 是解决 HTML5 的流问题。

Media Source Extensions（MSE）是 Chrome、Safari、Edge 等主流浏览器支持的一个新的Web API。MSE 是一个 W3C 标准，允许 JavaScript 动态构建 和 的媒体流。它定义了对象，允许 JavaScript 传输媒体流片段到一个 HTMLMediaElement。

通过使用 MSE，你可以动态地修改媒体流而不需要任何插件。这让前端JavaScript可以做更多的事情—— 在 JavaScript 进行转封装、处理，甚至转码。

虽然 MSE 不能让流直接传输到 media tags 上，但是 MSE 提供了构建跨浏览器播放器的核心技术，让浏览器通过JavaScript API来推音视频到 media tags 上。

Web 上的视频

直到现在，仍然不存在一项旨在网页上显示视频的标准。

今天，大多数视频是通过插件（比如 Flash）来显示的。然而，并非所有浏览器都拥有同样的插件。

HTML5 规定了一种通过 video 元素来包含视频的标准方法。  
视频格式

当前，video 元素支持三种视频格式：  
格式 IE Firefox Opera Chrome Safari  
Ogg No 3.5+ 10.5+ 5.0+ No  
MPEG 4 9.0+ No No 5.0+ 3.0+  
WebM No 4.0+ 10.6+ 6.0+ No

Ogg = 带有 Theora 视频编码和 Vorbis 音频编码的 Ogg 文件

MPEG4 = 带有 H.264 视频编码和 AAC 音频编码的 MPEG 4 文件

WebM = 带有 VP8 视频编码和 Vorbis 音频编码的 WebM 文件