一文搞懂音视频开发技术点及职业发展方向

淩亂°似流年 2022-09-10 11:21 286阅读 0赞

音视频的知识纷繁复杂，自学非常困难，既需要非常扎实的基础知识，又需要有很多的工程经验；本文就从音视频开发，开源框架，视频，业界大神，书籍推荐，就业方向分析，为广大开发者学习音视频技术提供便利。

首先我们先需要了解音视频包含哪些内容，解决哪些问题？

说白了，音视频开发，就是要掌握图像、音频、视频的基础知识，并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

l 采集：它解决的是，数据从哪里来的问题

l 渲染：它解决的是，数据怎么展现的问题

l 处理：它解决的是，数据怎么加工的问题

l 传输：它解决的是，数据怎么共享的问题

# 一、音视频开发主要技术点： #

![3299374584ecfe1dba522b7c76374758.png][]

##  ##

学习地址：[FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发][FFmpeg_WebRTC_RTMP_NDK_Android]

##  ##

# 二、开源框架： #

实时音视频开源项目：

实时音视频应用共包括几个环节：采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。每一个细分环节，还有更细分的技术模块。

比如，前后处理环节有美颜、滤镜、回声消除、噪声抑制等，采集有麦克风阵列等，编解码有VP8、VP9、H.264、H.265等。

采集->前处理编码->传输->解码后处理->渲染

实时音视频开源项目思维导图

![4b5c56721ae0272c7ef946bb612f984d.png][]

##  ##

# 三、音视频开发入门必学内容：ffmpeg #

FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

1. windows ffmpeg命令行环境搭建

2. FFMPEG如何查询命令帮助文档

3. ffmpeg音视频处理流程

4. ffmpeg命令分类查询

5. ffplay播放控制

6. ffplay命令选项

7. ffplay命令播放媒体

8. ffplay简单过滤器

9. ffmpeg命令参数说明

10. ffmpeg命令提取音视频数据

11. ffmpeg命令提取像素格式和PCM数据

12. ffmpeg命令转封装

13. ffmpeg命令裁剪和合并视频

14. fmpeg命令图片与视频互转

15. ffmpeg命令视频录制

16. ffmpeg命令直播

17. ffmpeg过滤器-裁剪

18. ffmpeg过滤器-文字水印

19. ffmpeg过滤器-图片水印

20. ffmpeg过滤器-画中画

21. ffmpeg过滤器-多宫格

![285798cb8d9ac030fed0d1cf8b68315e.png][]

![bcdead99342d29a7b94dd358df8deecd.png][]

需要音视频开发学习资料的点击：[【ffmpeg视频文档学习资料免费领取】][ffmpeg]

##  ##

# 四、音视频业界大神 #

刘岐

FFmpeg官方代码维护者之一，十余年一线技术研发与技术管理经验，人称“大师兄”。现任职于OnVideo公司，担任CTO，公司联合创立人，负责在线音视频云编辑与创作平台的开发和建设。曾任职蓝汛、高升、金山云等公司，担任视频部门架构师及技术专家。

赵文杰

擅长音视频编解码和渲染技术，客户端技术专家，开源流媒体服务器SRS开发者之一，现任好未来网校事业部高级架构师一职，负责端开发。

[廖庆富][FFmpeg_WebRTC_RTMP_NDK_Android]

主要从事音视频驱动，多媒体中间件，流媒体服务器的高级开发，主导开发过即时通讯+音视频通话的大型项目。曾就职于联发科，现任职于零声教育，资深音视频讲师。主讲WebRTC,ffmpeg,流媒体。

[雷霄骅][Link 1]

两届CSDN博客之星、微软MVP。主要从事与广播电视有关的视音频技术的研究。包括视音频质量评价，视音频编解码，流媒体，媒资检索等。

栗伟

资深音视频技术专家，曾任职于中科院计算所、CC视频，任职期间利用WebRTC技术开发了直播、在线课堂、视频会议等商业产品，并发用户数达到500万。开源社区的积极参与者，在GitHub上开源了视频会议项目WiLearning，免费供中小企业使用。

[杨成立][Link 2]

阿里云RTC服务器团队负责人。负责中国最大CDN蓝汛科技流媒体分发系统开发项目。主导研发转码、P2P、流媒体服务器, 开源项目SRS主要开发者之一。

##  ##

# 五、音视频开发推荐书籍 #

入门系列

先从FFmpeg入手，FFmpeg的学习建议大家先学FFmpeg命令行，然后再学习FFmpeg API的使用。先掌握FFmpeg命令行能让我们快速理解FFmpeg到底能够做什么，功能有多强大。

这里只推荐2本，一本是FFmpeg命令行相关的，另一本是FFmpeg API的使用（基于Android和IOS），其他的同类书籍内容是差不多的。

![8e5b083622c9eb176b443e219d5f5ae9.png][]

![b08e95df2b88a913994825b3cca26539.png][]

##  ##

进阶系列

市面上进阶的书籍不多，主要是H264/265编码和WebRTC相关的：

（1）H264/H265编码，但大部分内容和H264/H265白皮书是重叠的，如果愿意啃白皮书那就没有必要买这类书籍。

![2bddaf0f2b59b07c7d0061bca7d2319a.png][]

![9005a103960bf64569bb04b5906c5239.png][]

《新一代高效视频编码H.265/HEVC：原理、标准与实现》现在出版社没有重新印刷了，纸质版的价格都比较高。

（2）WebRTC相关的书籍

![81eeb445f2e7aca94b154dcbd1873f8c.png][]

《WebRTC权威指南(原书第3版)》书比较薄，适合了解WebRTC的基本通话原理，不适合作为WebRTC的进阶教程。

![9953d92aaa9d8f71962e187615f88e04.png][]

《WebRTC技术详解：从0到1构建多人视频会议系统》可以通过提供的范例实现音视频通话，适合新手快速上手WebRTC的开发。

有没有特别深入的WebRTC书籍呢，答案是：目前没有哪本书是深入讲解WebRTC，现有的WebRTC书籍都是入门级别，没有个七八百页的篇幅没法对WebRTC进行详细讲解。

##  ##

# 五、音视频岗就业方向 #

主要是直播，短视频，教育直播，AR，VR，云游戏，视频会议等一些场景，方向上没多少变化，只是应用场景上多了一些包装，毕竟随5G带宽硬件加速，以及人们对视频交互的需求日盛，音视频的使用场景应该会越来越多，从最近的市场需求来说，也侧面证明了需求旺盛的这一点，1-3年的普遍薪资即可达到20K-30K！

![9c36842a47c3dbac3973c0652c94bf82.png][]

对于是否要转音视频开发，主要还是看个人的兴趣点与坚持力，音视频属于跨平台技术，常年技术知识点变换不太频繁，广度和深度兼顾，可做工程优化，可做算法深入，嵌入式多媒体芯片等，关键看个人是否有决心在多媒体领域深耕，总体前景还是有的……

如决心进入，需风雨兼程! 加油！

[3299374584ecfe1dba522b7c76374758.png]: /images/20220829/1cbfb31a151e4c62a36bdba4b0acfbd0.png
[FFmpeg_WebRTC_RTMP_NDK_Android]: https://ke.qq.com/course/3202131?flowToken=1039205
[4b5c56721ae0272c7ef946bb612f984d.png]: /images/20220829/3c494fd6dd1f49e780f3a93b48a270bb.png
[285798cb8d9ac030fed0d1cf8b68315e.png]: /images/20220829/e011e63e88c64a70bfb2cdcd0df6169f.png
[bcdead99342d29a7b94dd358df8deecd.png]: /images/20220829/70be96fccb204ce68b238477387f3604.png
[ffmpeg]: https://jq.qq.com/?_wv=1027&k=UYjTUT38
[Link 1]: https://blog.csdn.net/leixiaohua1020
[Link 2]: https://space.bilibili.com/430256302
[8e5b083622c9eb176b443e219d5f5ae9.png]: /images/20220829/c57d86bbff0340f1a28fda66033037fb.png
[b08e95df2b88a913994825b3cca26539.png]: /images/20220829/652d00364fe04d6caff57691fb8c37ae.png
[2bddaf0f2b59b07c7d0061bca7d2319a.png]: /images/20220829/dc756a72ed4944e2bf86c78c5c834790.png
[9005a103960bf64569bb04b5906c5239.png]: /images/20220829/0ae8489b196b4036823a2a6c284d1142.png
[81eeb445f2e7aca94b154dcbd1873f8c.png]: /images/20220829/210c070062c24dbcaf4d3be2dcb14be7.png
[9953d92aaa9d8f71962e187615f88e04.png]: /images/20220829/dc91af33f09346a7bd2ae6d94a344199.png
[9c36842a47c3dbac3973c0652c94bf82.png]: /images/20220829/06d468f932c1463cb034bc7b59359430.png