WebRTC实时音视频技术基础：基本架构和协议栈

曾经终败给现在 2022-09-27 15:29 306阅读 0赞

## 概述 ##

本文主要介绍WebRTC的架构和协议栈。

## 最基本的三角形WebRTC架构 ##

为了便于理解，我们来看一个最基本的三角形WebRTC架构（见下图）：  
  
![WebRTC实时音视频技术基础：基本架构和协议栈\_1.png][WebRTC_1.png]    
  
在这个架构中，移动电话用“浏览器M”表示，笔记本电脑用“浏览器L”表示，通过Web服务器将它们连接起来。要建立一个实时媒体通讯，两台设备需要了解彼此的媒体功能，通过交换呼叫信令控制协议实现。  
  
诸如这样的信令协议在WebRTC标准中并非事先规定，而是由开发者自行制定。在浏览器RTC会话的步骤如下：

*  首先，两个浏览器都从Web服务器下载了WebRTC程序（HTML5/JavaScript）；
 *  其次，两个浏览器通过Web服务器交换控制信令信息（使用嵌入式信令服务器），建立媒体功能功能互通。
 *  最后，两个浏览器直接建立RTC媒体的音频、视频和数据通道。

## 真正实用的基于P2P的WebRTC架构 ##

WebRTC使用P2P媒体流，音频、视频和数据的连接直接通过浏览器实现。但是，浏览器却隐藏在NAT（网络地址翻译）和防火墙的后面，这增加了建立P2P媒体会话的难度。这些流程和协议，如ICE或Trickle ICE，STUN和TURN，在建立P2P媒体流都是必不可少的。  
  
![WebRTC实时音视频技术基础：基本架构和协议栈\_2.png][WebRTC_2.png]    
  
如何使用STUN协议建立一个P2P RTC媒体（如图5所示），简化版的ICE流程如下：

*  1.两个浏览器通过自己的公网IP地址，使用STUN协议信息和STUN服务器建立联系；
 *  2.两个浏览器通过SDP提供/应答机制，使用呼叫控制信令消息交换它们已发现的公共IP地址（ICE候选）；
 *  3.两个浏览器执行连接检查（ICE冲孔），确保P2P可以连接；
 *  4.建立连接后，RTC媒体会话和媒体交换就可以实现了。
 *  5.但是，假如在一个高度限制的NAT或防火墙，这种直接的路径将无法建立，只能到达TURN服务器。结果是媒体通过TURN服务器分程传递（如下图所示）。

![WebRTC实时音视频技术基础：基本架构和协议栈\_3.png][WebRTC_3.png]

## WebRTC的协议栈 ##

由互联网工程任务组（IETF）基于标准的可互操作的通信模型和协议栈详细地定义了WebRTC技术（参见图7），如下：  
  
![WebRTC实时音视频技术基础：基本架构和协议栈\_4.png][WebRTC_4.png]    
  
如前所述的信令栈，并非由WebRTC实现规定，而是由开发者自行决定。在这个例子中，我们将使用SIP-over-WebSocket（SIPoWS）作为信令栈。HTTP协议用于浏览器下载HTML5/JavaScript程序内容；NAT栈解决P2P连接问题；媒体栈用于发送和接收RTC的音频和视频。  
  
LETF标准规定G.711和Opus作为音频/视频解码器。视频解码器尚未授权，但是H.248和VP8已经获得授权。媒体栈也用于交换RTC数据。本例中，实时信息采用消息会话中继协议（MSRP），实时会议采用二层控制协议（BFCP），实时文本服务采用T.140。

## 全站即时通讯技术资料分类 ##

\[1\] 网络编程基础资料：  
《 [TCP/IP详解][TCP_IP]  -  [第11章·UDP：用户数据报协议][11_UDP] 》  
《 [TCP/IP详解][TCP_IP]  -  [第17章·TCP：传输控制协议][17_TCP] 》  
《 [TCP/IP详解][TCP_IP]  -  [第18章·TCP连接的建立与终止][18_TCP] 》  
《 [TCP/IP详解][TCP_IP]  -  [第21章·TCP的超时与重传][21_TCP] 》  
《 [理论经典：TCP协议的3次握手与4次挥手过程详解][TCP_3_4] 》  
《 [理论联系实际：Wireshark抓包分析TCP 3次握手、4次挥手过程][Wireshark_TCP 3_4] 》  
《 [计算机网络通讯协议关系图（中文珍藏版）][Link 1] 》  
《 [NAT详解：基本原理、穿越技术(P2P打洞)、端口老化等][NAT_P2P] 》  
《 [UDP中一个包的大小最大能多大？][UDP] 》  
《 [Java新一代网络编程模型AIO原理及Linux系统AIO介绍][Java_AIO_Linux_AIO] 》  
《 [NIO框架入门(三)：iOS与MINA2、Netty4的跨平台UDP双向通信实战][NIO_iOS_MINA2_Netty4_UDP] 》  
《 [NIO框架入门(四)：Android与MINA2、Netty4的跨平台UDP双向通信实战][NIO_Android_MINA2_Netty4_UDP] 》  
>>  [更多同类文章 ……][Link 2]  
  
\[2\] 有关IM/推送的通信格式、协议的选择：  
《 [为什么QQ用的是UDP协议而不是TCP协议？][QQ_UDP_TCP] 》  
《 [移动端即时通讯协议选择：UDP还是TCP？][UDP_TCP] 》  
《 [如何选择即时通讯应用的数据传输格式][Link 3] 》  
《 [强列建议将Protobuf作为你的即时通讯应用数据传输格式][Protobuf] 》  
《 [移动端IM开发需要面对的技术问题（含通信协议选择）][IM] 》  
《 [简述移动端IM开发的那些坑：架构设计、通信协议和客户端][IM 1] 》  
《 [理论联系实际：一套典型的IM通信协议设计详解][IM 2] 》  
《 [58到家实时消息系统的协议设计等技术实践分享][58] 》  
>>  [更多同类文章 ……][Link 4]  
  
\[3\] 有关IM/推送的心跳保活处理：  
《 [Android进程保活详解：一篇文章解决你的所有疑问][Android] 》  
《 [Android端消息推送总结：实现原理、心跳保活、遇到的问题等][Android 1] 》  
《 [为何基于TCP协议的移动端IM仍然需要心跳保活机制？][TCP_IM] 》  
《 [微信团队原创分享：Android版微信后台保活实战分享(进程保活篇)][Android 2] 》  
《 [微信团队原创分享：Android版微信后台保活实战分享(网络保活篇)][Android 3] 》  
《 [移动端IM实践：实现Android版微信的智能心跳机制][IM_Android] 》  
《 [移动端IM实践：WhatsApp、Line、微信的心跳策略分析][IM_WhatsApp_Line] 》  
>>  [更多同类文章 ……][Link 5]  
  
\[4\] 有关WEB端即时通讯开发：  
《 [新手入门贴：史上最全Web端即时通讯技术原理详解][Web] 》  
《 [Web端即时通讯技术盘点：短轮询、Comet、Websocket、SSE][Web_Comet_Websocket_SSE] 》  
《 [SSE技术详解：一种全新的HTML5服务器推送事件技术][SSE_HTML5] 》  
《 [Comet技术详解：基于HTTP长连接的Web端实时通信技术][Comet_HTTP_Web] 》  
《 [WebSocket详解（一）：初步认识WebSocket技术][WebSocket_WebSocket] 》  
《 [socket.io实现消息推送的一点实践及思路][socket.io] 》  
>>  [更多同类文章 ……][Link 6]  
  
\[5\] 有关IM架构设计：  
《 [浅谈IM系统的架构设计][IM 3] 》  
《 [简述移动端IM开发的那些坑：架构设计、通信协议和客户端][IM 1] 》  
《 [一套原创分布式即时通讯(IM)系统理论架构方案][IM 4] 》  
《 [从零到卓越：京东客服即时通讯系统的技术架构演进历程][Link 7] 》  
《 [蘑菇街即时通讯/IM服务器开发之架构选择][IM 5] 》  
《 [腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT][QQ1.4_PPT] 》  
《 [微信技术总监谈架构：微信之道——大道至简(演讲全文)][Link 8] 》  
《 [如何解读《微信技术总监谈架构：微信之道——大道至简》][Link 9] 》  
《 [快速裂变：见证微信强大后台架构从0到1的演进历程（一）][0_1] 》  
《 [17年的实践：腾讯海量产品的技术方法论][17] 》  
>>  [更多同类文章 ……][Link 10]  
  
\[6\] 有关IM安全的文章：  
《 [即时通讯安全篇（一）：正确地理解和使用Android端加密算法][Android 4] 》  
《 [即时通讯安全篇（二）：探讨组合加密算法在IM中的应用][IM 6] 》  
《 [即时通讯安全篇（三）：常用加解密算法与通讯安全讲解][Link 11] 》  
《 [即时通讯安全篇（四）：实例分析Android中密钥硬编码的风险][Android 5] 》  
《 [传输层安全协议SSL/TLS的Java平台实现简介和Demo演示][SSL_TLS_Java_Demo] 》  
《 [理论联系实际：一套典型的IM通信协议设计详解（含安全层设计）][IM 2] 》  
《 [微信新一代通信安全解决方案：基于TLS1.3的MMTLS详解][TLS1.3_MMTLS] 》  
《 [来自阿里OpenIM：打造安全可靠即时通讯服务的技术实践分享][OpenIM] 》  
>>  [更多同类文章 ……][Link 12]  
  
\[7\] 有关实时音视频开发：  
《 [即时通讯音视频开发（一）：视频编解码之理论概述][Link 13] 》  
《 [即时通讯音视频开发（二）：视频编解码之数字视频介绍][Link 14] 》  
《 [即时通讯音视频开发（三）：视频编解码之编码基础][Link 15] 》  
《 [即时通讯音视频开发（四）：视频编解码之预测技术介绍][Link 16] 》  
《 [即时通讯音视频开发（五）：认识主流视频编码技术H.264][H.264] 》  
《 [即时通讯音视频开发（六）：如何开始音频编解码技术的学习][Link 17] 》  
《 [即时通讯音视频开发（七）：音频基础及编码原理入门][Link 18] 》  
《 [即时通讯音视频开发（八）：常见的实时语音通讯编码标准][Link 19] 》  
《 [即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述][Link 20] 》  
《 [即时通讯音视频开发（十）：实时语音通讯的回音消除技术详解][Link 21] 》  
《 [即时通讯音视频开发（十一）：实时语音通讯丢包补偿技术详解][Link 22] 》  
《 [即时通讯音视频开发（十二）：多人实时音视频聊天架构探讨][Link 23] 》  
《 [即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势][H.264 1] 》  
《 [即时通讯音视频开发（十四）：实时音视频数据传输协议介绍][Link 24] 》  
《 [即时通讯音视频开发（十五）：聊聊P2P与实时音视频的应用情况][P2P] 》  
《 [即时通讯音视频开发（十六）：移动端实时音视频开发的几个建议][Link 25] 》  
《 [即时通讯音视频开发（十七）：视频编码H.264、V8的前世今生][H.264_V8] 》  
《 [简述开源实时音视频技术WebRTC的优缺点][WebRTC] 》  
《 [良心分享：WebRTC 零基础开发者教程（中文）][WebRTC 1] 》  
>>  [更多同类文章 ……][Link 26]  
  
\[8\] IM开发综合文章：  
《 [移动端IM开发需要面对的技术问题][IM] 》  
《 [开发IM是自己设计协议用字节流好还是字符流好？][IM 7] 》  
《 [请问有人知道语音留言聊天的主流实现方式吗？][Link 27] 》  
《 [IM系统中如何保证消息的可靠投递（即QoS机制）][IM_QoS] 》  
《 [谈谈移动端 IM 开发中登录请求的优化][IM 8] 》  
《 [完全自已开发的IM该如何设计“失败重试”机制？][IM 9] 》  
《 [微信对网络影响的技术试验及分析（论文全文）][Link 28] 》  
《 [即时通讯系统的原理、技术和应用（技术论文）][Link 29] 》  
《 [开源IM工程“蘑菇街TeamTalk”的现状：一场有始无终的开源秀][IM_TeamTalk] 》  
>>  [更多同类文章 ……][Link 30]    
  
\[9\] 开源移动端IM技术框架资料：  
《 [开源移动端IM技术框架MobileIMSDK：快速入门][IM_MobileIMSDK] 》  
《 [开源移动端IM技术框架MobileIMSDK：常见问题解答][IM_MobileIMSDK 1] 》  
《 [开源移动端IM技术框架MobileIMSDK：压力测试报告][IM_MobileIMSDK 2] 》  
《 [开源移动端IM技术框架MobileIMSDK：Android版Demo使用帮助][IM_MobileIMSDK_Android_Demo] 》  
《 [开源移动端IM技术框架MobileIMSDK：Java版Demo使用帮助][IM_MobileIMSDK_Java_Demo] 》  
《 [开源移动端IM技术框架MobileIMSDK：iOS版Demo使用帮助][IM_MobileIMSDK_iOS_Demo] 》  
《 [开源移动端IM技术框架MobileIMSDK：Android客户端开发指南][IM_MobileIMSDK_Android] 》  
《 [开源移动端IM技术框架MobileIMSDK：Java客户端开发指南][IM_MobileIMSDK_Java] 》  
《 [开源移动端IM技术框架MobileIMSDK：iOS客户端开发指南][IM_MobileIMSDK_iOS] 》  
《 [开源移动端IM技术框架MobileIMSDK：Server端开发指南][IM_MobileIMSDK_Server] 》  
>>  [更多同类文章 ……][Link 31]  
  
\[10\] 有关推送技术的文章：  
《 [iOS的推送服务APNs详解：设计思路、技术原理及缺陷等][iOS_APNs] 》  
《 [Android端消息推送总结：实现原理、心跳保活、遇到的问题等][Android 1] 》  
《 [扫盲贴：认识MQTT通信协议][MQTT] 》  
《 [一个基于MQTT通信协议的完整Android推送Demo][MQTT_Android_Demo] 》  
《 [求教android消息推送：GCM、XMPP、MQTT三种方案的优劣][android_GCM_XMPP_MQTT] 》  
《 [移动端实时消息推送技术浅析][Link 32] 》  
《 [扫盲贴：浅谈iOS和Android后台实时消息推送的原理和区别][iOS_Android] 》  
《 [绝对干货：基于Netty实现海量接入的推送服务技术要点][Netty] 》  
《 [移动端IM实践：谷歌消息推送服务(GCM)研究（来自微信）][IM_GCM] 》  
《 [为何微信、QQ这样的IM工具不使用GCM服务推送消息？][QQ_IM_GCM] 》  
>>  [更多同类文章 ……][Link 33]  
  
\[11\] 更多即时通讯技术好文分类：

[http://www.52im.net/forum.php?mod=collection&op=all][http_www.52im.net_forum.php_mod_collection_op_all]

http://www.52im.net/thread-442-1-1.html

[WebRTC_1.png]: /images/20220708/ea4f052d406141de9b84d7122b39a4c7.png
[WebRTC_2.png]: /images/20220708/1be5917693324ecfbf5598db0bbdbd43.png
[WebRTC_3.png]: /images/20220708/498228d4905f4cc69a64ec3dac5ae045.png
[WebRTC_4.png]: /images/20220708/648cdab71214455b926c8095f7aa3396.png
[TCP_IP]: http://www.52im.net/topic-tcpipvol1.html
[11_UDP]: http://docs.52im.net/extend/docs/book/tcpip/vol1/11/
[17_TCP]: http://docs.52im.net/extend/docs/book/tcpip/vol1/17/
[18_TCP]: http://docs.52im.net/extend/docs/book/tcpip/vol1/18/
[21_TCP]: http://docs.52im.net/extend/docs/book/tcpip/vol1/21/
[TCP_3_4]: http://www.52im.net/thread-258-1-1.html
[Wireshark_TCP 3_4]: http://www.52im.net/thread-275-1-1.html
[Link 1]: http://www.52im.net/thread-180-1-1.html
[NAT_P2P]: http://www.52im.net/thread-50-1-1.html
[UDP]: http://www.52im.net/thread-29-1-1.html
[Java_AIO_Linux_AIO]: http://www.52im.net/thread-306-1-1.html
[NIO_iOS_MINA2_Netty4_UDP]: http://www.52im.net/thread-378-1-1.html
[NIO_Android_MINA2_Netty4_UDP]: http://www.52im.net/thread-388-1-1.html
[Link 2]: http://www.52im.net/forum.php?mod=collection&action=view&ctid=9
[QQ_UDP_TCP]: http://www.52im.net/thread-279-1-1.html
[UDP_TCP]: http://www.52im.net/thread-33-1-1.html
[Link 3]: http://www.52im.net/thread-276-1-1.html
[Protobuf]: http://www.52im.net/thread-277-1-1.html
[IM]: http://www.52im.net/thread-133-1-1.html
[IM 1]: http://www.52im.net/thread-289-1-1.html
[IM 2]: http://www.52im.net/thread-283-1-1.html
[58]: http://www.52im.net/thread-298-1-1.html
[Link 4]: http://www.52im.net/forum.php?mod=collection&action=view&ctid=18
[Android]: http://www.52im.net/thread-438-1-1.html
[Android 1]: http://www.52im.net/thread-341-1-1.html
[TCP_IM]: http://www.52im.net/thread-281-1-1.html
[Android 2]: http://www.52im.net/thread-210-1-1.html
[Android 3]: http://www.52im.net/thread-209-1-1.html
[IM_Android]: http://www.52im.net/thread-120-1-1.html
[IM_WhatsApp_Line]: http://www.52im.net/thread-121-1-1.html
[Link 5]: http://www.52im.net/forum.php?mod=collection&action=view&ctid=17
[Web]: http://www.52im.net/thread-338-1-1.html
[Web_Comet_Websocket_SSE]: http://www.52im.net/thread-336-1-1.html
[SSE_HTML5]: http://www.52im.net/thread-335-1-1.html
[Comet_HTTP_Web]: http://www.52im.net/thread-334-1-1.html
[WebSocket_WebSocket]: http://www.52im.net/thread-331-1-1.html
[socket.io]: http://www.52im.net/thread-188-1-1.html
[Link 6]: http://www.52im.net/forum.php?mod=collection&action=view&ctid=15
[IM 3]: http://www.52im.net/thread-307-1-1.html
[IM 4]: http://www.52im.net/thread-151-1-1.html
[Link 7]: http://www.52im.net/thread-152-1-1.html
[IM 5]: http://www.52im.net/thread-31-1-1.html
[QQ1.4_PPT]: http://www.52im.net/thread-158-1-1.html
[Link 8]: http://www.52im.net/thread-200-1-1.html
[Link 9]: http://www.52im.net/thread-201-1-1.html
[0_1]: http://www.52im.net/thread-168-1-1.html
[17]: http://www.52im.net/thread-159-1-1.html
[Link 10]: http://www.52im.net/forum.php?mod=collection&action=view&ctid=7
[Android 4]: http://www.52im.net/thread-216-1-1.html
[IM 6]: http://www.52im.net/thread-217-1-1.html
[Link 11]: http://www.52im.net/thread-219-1-1.html
[Android 5]: http://www.52im.net/thread-312-1-1.html
[SSL_TLS_Java_Demo]: http://www.52im.net/thread-327-1-1.html
[TLS1.3_MMTLS]: http://www.52im.net/thread-310-1-1.html
[OpenIM]: http://www.52im.net/thread-215-1-1.html
[Link 12]: http://www.52im.net/forum.php?mod=collection&action=view&ctid=6
[Link 13]: http://www.52im.net/thread-228-1-1.html
[Link 14]: http://www.52im.net/thread-229-1-1.html
[Link 15]: http://www.52im.net/thread-232-1-1.html
[Link 16]: http://www.52im.net/thread-235-1-1.html
[H.264]: http://www.52im.net/thread-237-1-1.html
[Link 17]: http://www.52im.net/thread-241-1-1.html
[Link 18]: http://www.52im.net/thread-242-1-1.html
[Link 19]: http://www.52im.net/thread-243-1-1.html
[Link 20]: http://www.52im.net/thread-247-1-1.html
[Link 21]: http://www.52im.net/thread-250-1-1.html
[Link 22]: http://www.52im.net/thread-251-1-1.html
[Link 23]: http://www.52im.net/thread-253-1-1.html
[H.264 1]: http://www.52im.net/thread-266-1-1.html
[Link 24]: http://www.52im.net/thread-267-1-1.html
[P2P]: http://www.52im.net/thread-269-1-1.html
[Link 25]: http://www.52im.net/thread-270-1-1.html
[H.264_V8]: http://www.52im.net/thread-274-1-1.html
[WebRTC]: http://www.52im.net/thread-225-1-1.html
[WebRTC 1]: http://www.52im.net/thread-265-1-1.html
[Link 26]: http://www.52im.net/forum.php?mod=collection&action=view&ctid=4
[IM 7]: http://www.52im.net/thread-150-1-1.html
[Link 27]: http://www.52im.net/thread-175-1-1.html
[IM_QoS]: http://www.52im.net/thread-294-1-1.html
[IM 8]: http://www.52im.net/thread-282-1-1.html
[IM 9]: http://www.52im.net/thread-280-1-1.html
[Link 28]: http://www.52im.net/thread-195-1-1.html
[Link 29]: http://www.52im.net/thread-218-1-1.html
[IM_TeamTalk]: http://www.52im.net/thread-447-1-1.html
[Link 30]: http://www.52im.net/forum.php?mod=collection&action=view&ctid=10
[IM_MobileIMSDK]: http://www.52im.net/thread-52-1-1.html
[IM_MobileIMSDK 1]: http://www.52im.net/thread-60-1-1.html
[IM_MobileIMSDK 2]: http://www.52im.net/thread-57-1-1.html
[IM_MobileIMSDK_Android_Demo]: http://www.52im.net/thread-55-1-1.html
[IM_MobileIMSDK_Java_Demo]: http://www.52im.net/thread-56-1-1.html
[IM_MobileIMSDK_iOS_Demo]: http://www.52im.net/thread-54-1-1.html
[IM_MobileIMSDK_Android]: http://www.52im.net/thread-61-1-1.html
[IM_MobileIMSDK_Java]: http://www.52im.net/thread-59-1-1.html
[IM_MobileIMSDK_iOS]: http://www.52im.net/thread-62-1-1.html
[IM_MobileIMSDK_Server]: http://www.52im.net/thread-63-1-1.html
[Link 31]: http://www.52im.net/forum.php?mod=collection&action=view&ctid=1
[iOS_APNs]: http://www.52im.net/thread-345-1-1.html
[MQTT]: http://www.52im.net/thread-318-1-1.html
[MQTT_Android_Demo]: http://www.52im.net/thread-315-1-1.html
[android_GCM_XMPP_MQTT]: http://www.52im.net/thread-314-1-1.html
[Link 32]: http://www.52im.net/thread-288-1-1.html
[iOS_Android]: http://www.52im.net/thread-286-1-1.html
[Netty]: http://www.52im.net/thread-166-1-1.html
[IM_GCM]: http://www.52im.net/thread-122-1-1.html
[QQ_IM_GCM]: http://www.52im.net/thread-117-1-1.html
[Link 33]: http://www.52im.net/forum.php?mod=collection&action=view&ctid=11
[http_www.52im.net_forum.php_mod_collection_op_all]: http://www.52im.net/forum.php?mod=collection&op=all