直播预览层(AVCaptureVideoPreviewLayer)底层实现

秒速五厘米 2022-06-16 13:37 52阅读 0赞

分析sampleBuffer(帧数据)

通过设置AVCaptureVideoDataOutput的代理，就能获取捕获到一帧一帧数据

\[videoOutputsetSampleBufferDelegate:selfqueue:videoQue\];

拿到这一帧一帧数据(sampleBuffer)怎么显示到屏幕上了

\-(void)captureOutput:(AVCaptureOutput \*)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection \*)connection

sampleBuffer(帧数据)

视频本质是由很多帧图片组成

表示一帧视频/音频数据

通过sampleBuffer可以获取当前帧信息

CVImageBufferRef(CMSampleBufferGetImageBuffer):编码前，解码后，图片信息

CMSampleBufferGetDuration获取当前帧播放时间:用于记录视频播放时间

CMSampleBufferGetPresentationTimeStamp获取当前帧开始时间(PTS):用于做音视频同步

PTS：Presentation Time Stamp。PTS主要用于度量解码后的视频帧什么时候被显示出来

DTS：Decode Time Stamp。DTS主要是标识读入内存中的比特流在什么时候开始送入解码器中进行解码

(CMVideoFormatDescription)CMSampleBufferGetFormatDescription:视频编码，解码格式描述信息,通过它能获取sps,pps，编码成H264，就会生成一段NALU,这里面就包含sps，pps。

(CMBlockBuffer)CMSampleBufferGetDataBuffer:编码后，图像数据；

视频帧的格式，可以在采集端的AVCaptureVideoDataOutput配置

// RGBvideoOutput.videoSettings = @\{(NSString \*)kCVPixelBufferPixelFormatTypeKey :@(kCVPixelFormatType\_32BGRA) \}

YUV(Full)\[videoOutputsetVideoSettings:\[NSDictionarydictionaryWithObject:\[NSNumbernumberWithInt:kCVPixelFormatType\_420YpCbCr8BiPlanarFullRange\]forKey:(id)kCVPixelBufferPixelFormatTypeKey\]\];

YUV\[videoOutputsetVideoSettings:\[NSDictionarydictionaryWithObject:\[NSNumbernumberWithInt:kCVPixelFormatType\_420YpCbCr8BiPlanarVideoRange\]forKey:(id)kCVPixelBufferPixelFormatTypeKey\]\];

显示原理

预览层实现原理：

取出捕获到的帧(CMSampleBufferRef) -> 获取帧里面图片信息(CVImageBufferRef) -> 转换成UIImage -> 设置为UIImageView的image就能实时显示捕获的画面.

因为是连续采集,每一帧都会变成图片显示出来，就相当于一串连贯的图片在播放，就形成视频了。

CVImageBufferRef 如何转换成 UIImage

使用CoreImage框架,前提CVImageBufferRef是RGB格式

CVImageBufferRef -> CIImage -> UIImage

注意点：设置UIImageView一定要放在主线程，默认接收到CMSampleBufferRef的代理方法不在主线程

\- (void)captureOutput:(AVCaptureOutput\*)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection\*)connection\{

if(\_videoConnection == connection) \{

// 获取图片信息

CVImageBufferRef imageBuffer =CMSampleBufferGetImageBuffer(sampleBuffer);

// 转换为CIImageCIImage\*ciImage = \[CIImageimageWithCVImageBuffer:imageBuffer\];

// 转换UIImageUIImage\*image = \[UIImageimageWithCIImage:ciImage\];

// 回到主线程更新UIdispatch\_sync(dispatch\_get\_main\_queue(), ^\{self.imageView.image = image;

\});

\}\}

注意点二：CIImage和UIView坐标系是反的，需要设置UIImageView宽度为屏幕高度，长度为屏幕宽度，在旋转90度,还得设置锚点,自己画图就知道怎么旋转了

\- (UIImageView \*)imageView\{if(\_imageView==nil) \{

\_imageView= \[\[UIImageView alloc\] init\];

\_imageView.bounds = CGRectMake(0,0, self.view.bounds.size.height, self.view.bounds.size.width);