取rtsp流数据_RTSP视频播放器核心代码讲解及源码分享

待我称王封你为后i 2023-01-06 11:57 349阅读 0赞

![895192a5551b12249e98542fe84cf097.png][]

**1 RTSP鉴权认证**

RTSP服务器端出于安全考虑需要客户端访问服务器的时候需要带着用户名和密码进行校验的过程。RTSP两种认证方式包括基本认证（basic authentication）和摘要认证（digest authentication）。

（1）基本认证（basic authentication）

base64 (username:password)

（2）摘要认证（digest authentication）

response计算方法如下：

RTSP客户端应该使用username+ password并计算response如下：

response=md5(md5(username:realm:password):nonce:md5(method:url));

**2 RTP OVER TCP传输模**

一般我们都是通过UDP方式发送RTP流，使用RTSP/RTP这种模式需要打开多个UDP端口，每一路流需要两个UDP端口（一个RTP的媒体数据端口一个RTCP的控制信息）。

在互联网上使用UDP不太合适。（1）如果Internet网上的路由器没有打开这些端口就会出现一定的问题。（2）有可能中间的网络路由器过滤或者忽略掉UDP数据包系统就会出现一些问题。（3）UDP是不可靠的传输协议在Internet网上面临着丢包的情景。有兴趣有需要的查看RFC2326 10章12节。

**3 RTP打包发送h264数据**

由于以太网 （Ethernet）协议的MTU为1500字节，当传输的数据大于1500，该数据报文将被分片。因此在发送RTP包时分两种情况：

（1）当一个NALU小于MTU 字节的时候，采用一个单RTP包发送

（2）当一个NALU大于等于MTU 字节的时候，采用FU-A分片发送

FU-A分片发送是根据S（起始）E（结束）R以及M（标记）来控制的，详细流程如下：

当发送第一个的FU时，S=1，E=0，R=0；并设置rtp M 位为0；

当发送中间的FU时，S=0，E=0，R=0；

当发送最后一个FU时，S=0，E=1，R=0；并设置rtp M 位为1；

核心代码：

while(!feof(bits)) 
    {
         
    	GetAnnexbNALU(nal);//每执行一次，文件的指针指向本次找到的NALU的末尾，
    	//下一个位置即为下个NALU的起始码0x000001
    	dump( nal );//输出NALU长度和TYPE
    
    	memset(sendbuf,0,1500);//清空sendbuf；
    
    	//rtp固定包头，为12字节,
    	rtp_hdr =(RTP_FIXED_HEADER*)&sendbuf[0]; 
    	rtp_hdr->version = 2;   //版本号，此版本固定为2
    	rtp_hdr->marker  = 0;   //标志位，由具体协议规定其值。
    	rtp_hdr->payload = H264;//负载类型号，
    	rtp_hdr->ssrc    = htonl(10);//随机指定为10，并且在本RTP会话中全局唯一
    
    	//当一个NALU小于1400字节的时候，采用一个单RTP包发送
    	if( nal->len<=UDP_MAX_SIZE)
    	{
         
    		//设置rtp M 位；
    		rtp_hdr->marker=1;
    		rtp_hdr->seq_no = htons(seq_num ++); //序列号，每发送一个RTP包增1
    
    		//设置NALU HEADER,并将这个HEADER填入sendbuf[12]
    		//将sendbuf[12]的地址赋给nalu_hdr，之后对nalu_hdr的写入就将写入sendbuf中；
    		nalu_hdr =(NALU_HEADER*)&sendbuf[12]; 
    			
    		nalu_hdr->F=nal->forbidden_bit;
    		//有效数据在nal->nal_reference_idc的第6，7位，需要右移5位才能将其值赋给nalu_hdr->NRI。
    		nalu_hdr->NRI=nal->nal_reference_idc>>5;
    		nalu_hdr->TYPE= nal->nal_unit_type;
    
    		nalu_payload =&sendbuf[13];	//同理将sendbuf[13]赋给nalu_payload
    		memcpy(nalu_payload,nal->buf+1,nal->len-1);//去掉nalu头的nalu剩余内容写入sendbuf[13]开始的字符串。
    
    		ts_current = ts_current+timestamp_increse;
    		rtp_hdr->timestamp = htonl(ts_current);
    		bytes= nal->len + 12 ;	//获得sendbuf的长度,为nalu的长度（包含NALU头但除去起始前缀）加上rtp_header的固定长度12字节
    		send(socket1,sendbuf,bytes,0);//发送RTP包
    		//Sleep(100);
    	}
    	else //FU-A
    	{
         
    		int packetNum = nal->len/UDP_MAX_SIZE;
    		if ( nal->len%UDP_MAX_SIZE != 0 )
    			packetNum ++;
    
    		int lastPackSize = nal->len - (packetNum-1)*UDP_MAX_SIZE;
    		int packetIndex = 1 ;
    
    		ts_current = ts_current+timestamp_increse;
    
    		rtp_hdr->timestamp = htonl( ts_current);
    
    		//发送第一个的FU，S=1，E=0，R=0
    		rtp_hdr->seq_no = htons(seq_num ++); //序列号，每发送一个RTP包增1
    			
    		//设置rtp M 位；
    		rtp_hdr->marker=0;
    		
    		//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
    		fu_ind = (FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；
    		fu_ind->F = nal->forbidden_bit;
    		fu_ind->NRI = nal->nal_reference_idc>>5;
    		fu_ind->TYPE = 28;
    
    		//设置FU HEADER,并将这个HEADER填入sendbuf[13]
    		fu_hdr =(FU_HEADER*)&sendbuf[13];
    
    		fu_hdr->S= 1; // ***** 1.第一包
    		fu_hdr->E= 0;
    		fu_hdr->R= 0;
    		fu_hdr->TYPE = nal->nal_unit_type;
    
    		nalu_payload = &sendbuf[14];//同理将sendbuf[14]赋给nalu_payload
    		memcpy( nalu_payload,nal->buf+1,UDP_MAX_SIZE);//去掉NALU头
    		bytes = UDP_MAX_SIZE+14;//获得sendbuf的长度,为nalu的长度（除去起始前缀和NALU头）加上rtp_header，fu_ind，fu_hdr的固定长度14字节
    		send( socket1, sendbuf, bytes, 0 );//发送RTP包
    
    		//****  2。 发送中间的FU，S=0，E=0，R=0
    		for( packetIndex=2;packetIndex<packetNum;packetIndex++)
    		{
         
    			rtp_hdr->seq_no = htons(seq_num ++); //序列号，每发送一个RTP包增1
    
    			//设置rtp M 位；
    			rtp_hdr->marker=0;
    			//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
    			fu_ind =(FU_INDICATOR*)&sendbuf[12]; 
    			fu_ind->F=nal->forbidden_bit;
    			fu_ind->NRI=nal->nal_reference_idc>>5;
    			fu_ind->TYPE=28;
    
    			//设置FU HEADER,并将这个HEADER填入sendbuf[13]
    			fu_hdr =(FU_HEADER*)&sendbuf[13];
    			fu_hdr->S = 0;
    			fu_hdr->E = 0;
    			fu_hdr->R = 0;
    			fu_hdr->TYPE=nal->nal_unit_type;
    
    			nalu_payload = &sendbuf[14]; 
    			memcpy( nalu_payload,nal->buf+(packetIndex-1)*UDP_MAX_SIZE+1,UDP_MAX_SIZE);//去掉起始前缀的nalu剩余内容写入sendbuf[14]开始的字符串。
    			bytes = UDP_MAX_SIZE+14;//获得sendbuf的长度,为nalu的长度（除去原NALU头）加上rtp_header，fu_ind，fu_hdr的固定长度14字节
    			send( socket1, sendbuf, bytes, 0 );//发送rtp包				
    		}
    
    		//3.发送最后一个的FU，S=0，E=1，R=0
    
    		rtp_hdr->seq_no = htons(seq_num ++);
    		rtp_hdr->marker=1;	//设置rtp M 位；当前传输的是最后一个分片时该位置1	
    			
    		//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
    		fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；
    		fu_ind->F	= nal->forbidden_bit;
    		fu_ind->NRI	= nal->nal_reference_idc>>5;
    		fu_ind->TYPE= 28;
    
    		//设置FU HEADER,并将这个HEADER填入sendbuf[13]
    		fu_hdr =(FU_HEADER*)&sendbuf[13];
    		fu_hdr->S=0;
    		fu_hdr->E=1;  // ***
    		fu_hdr->R=0;
    		fu_hdr->TYPE=nal->nal_unit_type;
    
    		nalu_payload=&sendbuf[14];
    		memcpy( nalu_payload, nal->buf+( packetIndex-1)*UDP_MAX_SIZE+1, lastPackSize-1);//将nalu最后剩余的-1(去掉了一个字节的NALU头)字节内容写入sendbuf[14]开始的字符串。
    		bytes=lastPackSize-1+14;//获得sendbuf的长度,为剩余nalu的长度l-1加上rtp_header，FU_INDICATOR,FU_HEADER三个包头共14字节
    		send( socket1, sendbuf, bytes, 0 );//发送rtp包		
    	}

**4 RTP解包及获取h264数据**

在接收到RTP包之后我们需要解包获取h264数据，首先向后移动12个字节（RTP固定头），然后判断NALUTYPE

![9579c961190e7110e250553ce78f4dce.png][]

NALUTYPE是根据指示字节的类型域来判断

![9b8562f14d3335eaf62e29dde6cabb5b.png][]

重点关注FU指示字节的类型域等于28即FU-A分片方式。

**拆包**：当编码器在编码时需要将原有一个NAL按照FU-A进行分片，原有的NAL的单元头与分片后的FU-A的单元头有如下关系：

**原始的NAL头的前三位为FU indicator的前三位，原始的NAL头的后五位为FU header的后五位，**

FU indicator与FU header的剩余位数根据实际情况决定。

**解包：**当接收端收到FU-A的分片数据，需要将所有的分片包组合还原成原始的NAl包时，FU-A的单元头与还原后的NAL的关系如下：

还原后的NAL头的八位是由FU indicator的前三位加FU header的后五位组成，即：

**nal\_unit\_type = (fu\_indicator & 0xe0) | (fu\_header & 0x1f)**

根据 **FU header**组装一个完整的帧

![ef6af8ed2823c7f14f59d2458c794428.png][]

重点研究单包和FU-A分片的发送模式，依据**FU header**的**S、E、R、M**来组装一个完整的帧  
核心代码：

int CRtpTo264Frame::OnRtpData(unsigned char *pRtpData, int nLen)	
    {
         
    	if ((NULL == pRtpData) || (nLen < 12))
    		return -1;
    	
    	RTP_HEADER *pRtpHeader = ( RTP_HEADER*)pRtpData;
    
    	//检验是否正确(通过RTP头版本号)
    	if (pRtpHeader->version != RTP_VERSION)
    		return -1;
    
    	int nSeq = ntohs( pRtpHeader->seq_no );
    	m_nSeq++;
    	if ( m_nSeq != nSeq )
    	{
         //
    		; //错误！
    	}
    	m_nSeq = nSeq;
    	
    	nLen = nLen - 12;//RtpPayload
    	unsigned char *pRtpPayload = pRtpData + 12;
    	unsigned char nNalType = (unsigned char)pRtpPayload[0] & 0x1f;
    	if( nNalType < 24)//单包
    	{
         
    		if (0 == m_nNewFrame)
    		{
         // some thing error.	
    			; 
    		}
    		memset(m_pData, 0, 4);
    		m_pData[3] = 1;
    		memcpy( m_pData+4, pRtpPayload, nLen);
    		m_nDataLen = nLen + 4;
    		m_nNewFrame = 1;
    		printf("单包 = %d, nSeq= %d n ",nNalType,nSeq);
    	}
    	else if( nNalType < 28)  //24 <= nNalType <= 27 
    	{
         
    		if (  nNalType == 24)      //STAP-A   单一时间的组合包
    		{
         
    		}
    		else if ( nNalType == 25)     //STAP-B   单一时间的组合包
    		{
         
    		}
    		else if (nNalType == 26)        //MTAP16   多个时间的组合包
    		{
         
    		}
    		else if ( nNalType == 27)       //MTAP24   多个时间的组合包
    		{
         
    		}
    
    		short nSize = 0;
    		pRtpPayload++;
    		while( nLen > 3)
    		{
         
    			memset( m_pData+m_nDataLen, 0, 4);
    			m_pData[m_nDataLen+3] = 1;
    			memcpy(&nSize, pRtpPayload, 2);
    
    			pRtpPayload++;
    			pRtpPayload++;
    			// nSize = ntohs (nSize);	// ????
    			if( nSize > nLen)
    				break;
    	 
    			m_nDataLen += 4;
    			memcpy(m_pData+m_nDataLen, pRtpPayload, nSize);
    			m_nDataLen += nSize;
    			
    			pRtpData = pRtpData + nSize;
    			nLen = nLen - nSize;
    		}
    		m_nNewFrame = 1;
    	}
    	 FU-A
    	else if( (28 == nNalType) || (29 == nNalType))
    	{
         
    		printf("FU-A nNalType = %d, nSeq= %d n ",nNalType,nSeq);
    
    		//nal_unit_type = (fu_indicator & 0xe0) | (fu_header & 0x1f)
    
    		nNalType = pRtpPayload[0] & 0xe0;//0xe0 //fu_indicator
    		nNalType = nNalType | (pRtpPayload[1] & 0x1F);
    		if( pRtpPayload[1] &0x80 ) //first pkt  // S=1
    		{
          
    			printf("FU-A first rtp pkt = %d n ",nNalType,nSeq);
    		    if ( 0 == m_nNewFrame )
    			{
         // something error.
    				; 
    			}
    			m_nNewFrame = 0;
    			memset( m_pData, 0, 4 );
    			m_pData[3] = 1;	// 00 00 00 01
    
    			// 收到第一个rtp包时，生成NALU-HEAD,
    			m_pData[4] = nNalType;// nalu head
    			memcpy( m_pData+5, pRtpPayload+2, nLen-2 ); /* 2 = 1 fuindic + 1 naluhead*/
    		
    			m_nDataLen = 4 + 1 + (nLen-2);
    		}
    		else if( pRtpPayload[1] &0x40 )// last pkt E=1
    		{
          
    			m_nNewFrame = 1;// 收到了一个完整的帧
    			printf("FU-A last rtp pkt = %d n ",nNalType,nSeq);
    			if (0 == pRtpHeader->marker )
    			{
         // something error.
    				; 
    			}
    			memcpy( m_pData+m_nDataLen, pRtpPayload+2, nLen-2); 
    			m_nDataLen = m_nDataLen + nLen - 2;
    		}
    		else	// middle pkt S=0.E=0
    		{
         	
    			memcpy( m_pData+m_nDataLen, pRtpPayload+2, nLen-2 ); 
    			m_nDataLen = m_nDataLen + nLen - 2;
    		}
    	}	
    	else
    	{
         
    		return -1;
    	}
    	
    	return m_nNewFrame;
    }

**5 采用ffmpeg实时解码H264，SDL渲染显示图像**  
ffmpeg实时解码H264参考《FFmpeg解码H264为YUV420》，这里不重点讲解。SDL渲染显示图像也只给出技术路线。  
相关的源码下载：  
流媒体开发RTSP视频播放器相关的源码下载：  
RTSP视频播放器 - 下载频道 - CSDN.NET

RTSP视频播放器客户端 - 下载频道 - CSDN.NET

Reference:  
h264基础及rtp分包解包 - machh的专栏 - 博客频道 - CSDN.NET 流媒体传输协议详解之---RTSP认证 - machh的专栏 - 博客频道 - CSDN.NET mtu\_百度百科

--------------------

[895192a5551b12249e98542fe84cf097.png]: /images/20221119/fa44f0e10b1148a89484e21399aa520b.png
[9579c961190e7110e250553ce78f4dce.png]: /images/20221119/83b7433f21b24b1ab41da6eed7372f70.png
[9b8562f14d3335eaf62e29dde6cabb5b.png]: /images/20221119/e1185ef197d14c53a67cea61144fd40a.png
[ef6af8ed2823c7f14f59d2458c794428.png]: /images/20221119/0afb7b970feb4e09804eda73ae705b82.png