音视频技术开发周刊 63期

- 日理万妓 2022-02-12 14:27 457阅读 0赞

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

> 『**音视频技术开发周刊**』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。点击『**阅读原文**』，浏览第63期内容，祝您阅读愉快。

架构

> **傅德良：选择视频编码器的误区**
> 
> 本文来自Hulu全球高级研发经理、视频编解码与传输领域资深专家傅德良在LiveVideoStackCon 2018热身分享，并由LiveVideoStack整理而成。在分享中，傅德良以 Hulu实践为基础，介绍了视频编解码标准与视频编码器间的纷争以及视频编码器对比中的常见误区。
> 
>   
> 
> 
> **林绪虹：看好QoE、音视频内容理解与AV1**
> 
> 还记得你在大学时候的梦想吗？职场上打拼多年，你的工作领域与你之前的专业还有多少相关？技术、行业与时代的洪流将一些人推上人生巅峰，又把一些人无情的拍向谷底。LiveVideoStack邮件采访了YY音视频算法中心负责人林绪虹，从直播领域的起伏聊到时代，从学习方法聊到技术趋势。
> 
>   
> 
> 
> **Cloudflare Nginx优化成果：每天为互联网节约54年**
> 
> Nginx是世界范围内使用最广泛的负载均衡器和web服务器之一。Cloudflare大规模使用Nginx来支持自身的边缘节点。在其使用过程中碰见了一些问题，通过优化这些问题，Nginx的性能得到了极大提升。本文是Cloudflare对其所做的一些优化的具体分析和结论，对于工程师和架构师来说，十分值得一读。
> 
>   
> 
> 
> **从Go高性能日志库zap看如何实现高性能Go组件**
> 
> zap是uber开源的Go高性能日志库。本文作者深入分析了zap的架构设计和具体实现，揭示了zap高效的原因。并且对如何构建高性能Go语言库给出自己的建议。
> 
>   
> 
> 
> **PWA初探**
> 
> HTML 5 曾被认为是移动应用的明天，却被原生App在性能和功能上轻易战胜，Web逐渐成为App的附属。然而，马云“爸爸”告诉我们：“梦想还是要有的，万一实现了呢？”如今，我们离梦想又近了一步。
> 
>   
> 
> 
> **金山云三招保障百万级直播**
> 
> 央视网是本届亚运会移动端直播的重要平台，将在亚运会期间密集直播各项赛事。金山云作为央视网的合作伙伴，将为客户提供直播保障，带给观众身临其境的视听体验。
> 
>   
> 
> 
> **十年磨一剑：英伟达最「闪」GPU 登场，揭晓新一代芯片架构**
> 
> 从今年年初开始，英伟达将发布新一代架构的消息就已经传的沸沸扬扬，传闻称架构代号也许会是「Ampere」，也可能是「Turing」。在SIGGRAPH 大会上，英伟达创始人兼首席执行官黄仁勋在其主题演讲上发布了这一新架构，除此之外还推出了全新的 RTX 系列 GPU。

音频/视频技术

> **音视频开发**
> 
> 音视频开发，就是要掌握图像、音频、视频的基础知识，并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。
> 
>   
> 
> 
> **iOS音视频-01-音频播放(FFMpeg+AudioUnit)**
> 
> 本文主要介绍如何使用FFmpeg完成一个音视频播放Demo，用AudioUnit播放一个Mp3, AAC文件。
> 
>   
> 
> 
> **如何快速实现移动端短视频功能？**
> 
> 在“互联网＋”概念被炒的如火如荼的今天，短视频以视频短、传播快、生产流程简单、制作门槛低、参与性强等特点在互联网所有的热门的焦点中脱颖而出，出现在公众的视野里。那么如何快速实现移动端短视频功能呢？本文作者将根据其对行业的洞察，结合网易云信技术进行具体的分析。
> 
>   
> 
> 
> **流媒体技术笔记**
> 
> Darwin Streaming Server简称DSS。DSS是Apple公司提供的开源实时流媒体播放服务器程序。整个程序使用C++编写，在设计上遵循高性能，简单，模块化等程序设计原则，务求做到程序高效，可扩充性好。

编解码

> **Capped CRF：节省编码成本和数据流**
> 
> Capped CRF编码是一种单通道编码方法，与双通道VBR相比，可以节省编码成本。Capped CRF也是一种简单的per-title编码方法，可以降低带宽成本并且提高观众的体验质量。本文来自资深多媒体技术咨询师Jan Oze，LiveVideoStack对原文进行了摘译。
> 
>   
> 
> 
> **iOS硬编解码相关知识**
> 
> 苹果在iOS 8.0系统之前，没有开放系统的硬件编码解码功能，不过Mac OS系统一直有，被称为Video ToolBox的框架来处理硬件的编码和解码，终于在iOS 8.0（即WWDC 2014 513）后，苹果将该框架引入iOS系统。
> 
>   
> 
> 
> **FFmpeg编码支持与定制**
> 
> FFmpeg本身支持一些音视频编码格式、文件封装格式与流媒体传输协议，但是支持的数量仍然有限，FFmpeg所做的只是提供一套基础的框架，所有的编码格式、文件封装格式与流媒体协议均可以做为FFmpeg的一个模块挂载在FFmpeg框架中。
> 
>   
> 
> 
> **Netty 编码解码应用**
> 
> Tcp基于字节流的传输层通信协议，把数据流分区成适当长度的报文段，报文段长度有限，当传输大量数据，需要将大报文拆分成为小报文对传输的报文进行粘包和拆包。
> 
>   
> 
> 
> **MediaCodec AudioRecord 硬编 AAC 格式音频（一）**
> 
> AAC是一种音频压缩格式，区别于无损的 PCM 数据格式，其中分成了两种：ADTS 和 ADIF 格式。
> 
>   
> 
> 
> **Chromium中 WebRTC 视频解码过程分析**
> 
> WebRTC 默认采用的编码格式为 VP8，所以解码对应的解码方法也是 VP8.

AI智能

> **深度学习入门---Numpy图像处理**
> 
> 在Python的学习过程中，我们实际上有各种图像处理库可以使用，比如opencv，Matplotlib，Scipy等等，这里我们使用Numpy来实现图像处理算法，以此来加深Numpy和图像算法的学习。
> 
>   
> 
> 
> **App基于手机壳颜色换肤？先尝试一下用KMeans来提取图像中的主色**
> 
> k - 平均算法（中文： k -means clustering）源于信号处理中的一种向量量化方法，现在则更多地作为一种聚类分析方法流行于数据挖掘领域 .k - 平均聚类的目的是：把n个点（可以是样本的一次观察或一个实例）划分到 k个聚类中，使得每个点都属于离他最近的均值（此即聚类中心）对应的聚类，以之作为聚类的标准。这个问题将归结为一个把数据空间划分为Voronoi cells的问题。
> 
>   
> 
> 
> **清华&商汤开源CVPR2018超高精度人脸对齐算法LAB**
> 
> 人脸的边缘信息和人脸关键点有很明显的重要关系，而以往的人脸对齐（Face Alignment）算法并没有很好的利用边缘信息，本文提出一种基于边缘感知的人脸关键点检测算法，将人脸边缘线所描述的结构信息融入到关键点检测中，极大地提升了算法在大侧脸、夸张表情、遮挡、模糊等极端情况下的检测精度。
> 
>   
> 
> 
> **如何通过深度学习轻松实现自动化监控？**
> 
> 这是一篇关于使用基于深度学习的目标检测来实现监控系统的快速教程。在教程中通过使用 GPU 多处理器来比较不同目标检测模型在行人检测上的性能。
> 
>   
> 
> 
> **对抗深度学习: 鱼 (模型准确性) 与熊掌 (模型鲁棒性) 能否兼得？**
> 
> 分类的准确度长期以来都是评价图像分类模型性能的最核心甚至唯一标准。但最近研究表明，即使是充分训练好的深度神经网络模型也很容易被对抗攻击算法攻破。对抗攻击是指在图像上加入特定的且人眼无法察觉的微量噪声，使得目标模型对加噪之后得到的对抗样本做出错误分类。
> 
>   
> 
> 
> **比RNN快136倍！上交大提出SRNN，现在RNN也能做并行计算了**
> 
> 上海交通大学最新提出切片循环神经网络（SRNN），其速度是标准RNN的136倍，并且还能更快！对六个大型情绪分析数据集的实验表明，SRNN的性能均优于标准RNN。

图像

> **Metal入门教程总结**
> 
> 本文介绍Metal和Metal Shader Language，以及Metal和OpenGL ES的差异性，也是实现入门教程的心得总结。
> 
>   
> 
> 
> **HDR质量评价技术**
> 
> 本文聚焦HDR质量评价技术，对于编解码、色调映射以及逆色调映射等不同任务，通常会采取不同的评价方法。本部分先从主观评价和客观评价两个角度对常用的HDR视觉质量评价技术做整体介绍。

[640_wx_fmt_jpeg]: /images/20220212/c694c05b3b944c7c98c0007aeab15344.png