iOS 系统中，H.264 视频流可以硬件解码吗？具体如何实现？

心已赠人 2022-06-13 13:10 467阅读 0赞

https://www.zhihu.com/question/20692215

#### 16 个回答 ####

默认排序

[![姚冬][v2-e579c26575f3f2b46450f0805a41ea91_xs.jpg]][v2-e579c26575f3f2b46450f0805a41ea91_xs.jpg 1]

[姚冬][v2-e579c26575f3f2b46450f0805a41ea91_xs.jpg 1]

[程序员][Link 1]、 [编程][Link 2]、 [C++][C] 话题的优秀回答者

172 人赞同了该回答

这个问题都问了两年多了，没有很好的回答，我最近正好搞定了iOS的硬解码 H.264，借这个问题来分享下经验。  
  
其实至少从iPhone4开始，苹果就是支持硬件解码了，但是硬解码API一直是私有API，不开放给开发者使用，只有越狱才能使用，正常的App如果想提交到AppStore是不允许使用私有API的。  
  
从iOS8开始，可能是苹果想通了，开放了硬解码和硬编码API，就是名为 VideoToolbox.framework的API，需要用iOS 8以后才能使用，iOS 7.x上还不行。  
  
这套硬解码API是几个纯C函数，在任何OC或者 C++代码里都可以使用。  
  
首先要把 VideoToolbox.framework 添加到工程里，并且包含以下头文件。

\#include <VideoToolbox/VideoToolbox.h>

解码主要需要以下三个函数

VTDecompressionSessionCreate 创建解码 session

VTDecompressionSessionDecodeFrame 解码一个frame

VTDecompressionSessionInvalidate 销毁解码 session

首先要创建 decode session，方法如下：

OSStatus status = VTDecompressionSessionCreate(kCFAllocatorDefault,
                                                  decoderFormatDescription,
                                                  NULL, attrs,
                                                  &callBackRecord,
                                                  &deocderSession);

其中 decoderFormatDescription 是 CMVideoFormatDescriptionRef 类型的视频格式描述，这个需要用H.264的 sps 和 pps数据来创建，调用以下函数创建 decoderFormatDescription

CMVideoFormatDescriptionCreateFromH264ParameterSets

需要注意的是，这里用的 sps和pps数据是不包含“00 00 00 01”的start code的。

attr是传递给decode session的属性词典

CFDictionaryRef attrs = NULL;
            const void *keys[] = {  kCVPixelBufferPixelFormatTypeKey };
    // kCVPixelFormatType_420YpCbCr8Planar is YUV420
    // kCVPixelFormatType_420YpCbCr8BiPlanarFullRange is NV12
            uint32_t v = kCVPixelFormatType_420YpCbCr8BiPlanarFullRange;
            const void *values[] = {  CFNumberCreate(NULL, kCFNumberSInt32Type, &v) };
            attrs = CFDictionaryCreate(NULL, keys, values, 1, NULL, NULL);

其中重要的属性就一个，kCVPixelBufferPixelFormatTypeKey，指定解码后的图像格式，必须指定成NV12，苹果的硬解码器只支持NV12。

callBackRecord 是用来指定回调函数的，解码器支持异步模式，解码后会调用这里的回调函数。  
  
如果 decoderSession创建成功就可以开始解码了。

VTDecodeFrameFlags flags = 0;
                //kVTDecodeFrame_EnableTemporalProcessing | kVTDecodeFrame_EnableAsynchronousDecompression;
                VTDecodeInfoFlags flagOut = 0;
                CVPixelBufferRef outputPixelBuffer = NULL;
                OSStatus decodeStatus = VTDecompressionSessionDecodeFrame(deocderSession,
                                                                          sampleBuffer,
                                                                          flags,
                                                                          &outputPixelBuffer,
                                                                          &flagOut);

其中 flags 用0 表示使用同步解码，这样比较简单。  
其中 sampleBuffer是输入的H.264视频数据，每次输入一个frame。  
先用CMBlockBufferCreateWithMemoryBlock 从H.264数据创建一个CMBlockBufferRef实例。  
然后用 CMSampleBufferCreateReady创建CMSampleBufferRef实例。  
这里要注意的是，传入的H.264数据需要Mp4风格的，就是开始的四个字节是数据的长度而不是“00 00 00 01”的start code，四个字节的长度是big-endian的。  
一般来说从 视频里读出的数据都是 “00 00 00 01”开头的，这里需要自己转换下。  
  
解码成功之后，outputPixelBuffer里就是一帧 NV12格式的YUV图像了。  
如果想获取YUV的数据可以通过

CVPixelBufferLockBaseAddress(outputPixelBuffer, 0);
        void *baseAddress = CVPixelBufferGetBaseAddress(outputPixelBuffer);

获得图像数据的指针，需要说明baseAddress并不是指向YUV数据，而是指向一个CVPlanarPixelBufferInfo\_YCbCrBiPlanar结构体，结构体里记录了两个plane的offset和pitch。

但是如果想把视频播放出来是不需要去读取YUV数据的，因为CVPixelBufferRef是可以直接转换成OpenGL的Texture或者UIImage的。

调用CVOpenGLESTextureCacheCreateTextureFromImage，可以直接创建OpenGL Texture

从 CVPixelBufferRef 创建 UIImage

CIImage *ciImage = [CIImage imageWithCVPixelBuffer:pixelBuffer];
        UIImage *uiImage = [UIImage imageWithCIImage:ciImage];

解码完成后销毁 decoder session

VTDecompressionSessionInvalidate(deocderSession)

硬解码的基本流程就是这样了，如果需要成功解码播放视频还需要一些H.264视频格式，YUV图像格式，OpenGL等基础知识。

还是有很多小细节要处理的，无法在这里一一说明了，有人有问题可以在评论里讨论。

从解码到播放，大约1000行代码左右，主要是OpenGL渲染的代码比较多。

苹果官方的示例代码：

[WWDC - Apple Developer][]

苹果的例子下载链接实效了，我也找不到那个例子，我自己写了一个。

[stevenyao/iOSHardwareDecoder · GitHub][stevenyao_iOSHardwareDecoder _ GitHub]

[编辑于 2015-08-17][2015-08-17]

17242 条评论

收藏 感谢收起

[![失败君][de866598640ef3245c4113c5523ec53a_xs.jpg]][de866598640ef3245c4113c5523ec53a_xs.jpg 1]

[失败君][de866598640ef3245c4113c5523ec53a_xs.jpg 1]

2 人赞同了该回答

姚大的demo是基于文件的。实际场景大多是基于流。基于此，我写了个demo。  
[H264实时硬件编解码demo][H264_demo]

[发布于 2016-05-03][2016-05-03]

28 条评论

收藏 感谢

![匿名用户][aadd7b895_xs.jpg]

匿名用户

1 人赞同了该回答

iOS 支持 H.264 視頻流硬解碼：

HTTP Live Streaming Overview: Frequently Asked Questions | [ http://developer.apple.com/library/ios/\#documentation/networkinginternet/conceptual/streamingmediaguide/FrequentlyAskedQuestions/FrequentlyAskedQuestions.html][http_developer.apple.com_library_ios_documentation_networkinginternet_conceptual_streamingmediaguide_FrequentlyAskedQuestions_FrequentlyAskedQuestions.html]

The protocol specification does not limit the encoder selection. However, the current Apple implementation should interoperate with encoders that produce MPEG-2 Transport Streams containing H.264 video and AAC audio (HE-AAC or AAC-LC). Encoders that are capable of broadcasting the output stream over UDP should also be compatible with the current implementation of the Apple provided segmenter software.

具體實現過程請完整閱讀以上文檔，和其它相關文檔：

HTTP Live Streaming Overview: HTTP Streaming Architecture | [ http://developer.apple.com/library/ios/\#documentation/networkinginternet/conceptual/streamingmediaguide/HTTPStreamingArchitecture/HTTPStreamingArchitecture.html\#//apple\_ref/doc/uid/TP40008332-CH101-SW3][http_developer.apple.com_library_ios_documentation_networkinginternet_conceptual_streamingmediaguide_HTTPStreamingArchitecture_HTTPStreamingArchitecture.html_apple_ref_doc_uid_TP40008332-CH101-SW3]

[发布于 2013-01-06][2013-01-06]

1添加评论

收藏 感谢

[![Mike][]][Mike 1]

[Mike][Mike 1]

计算机

可以给我发一份完整得代码吗？谢谢1507904849@qq.com

[发布于 2017-01-04][2017-01-04]

0添加评论

收藏 感谢

[![大师兄][Mike]][Mike 2]

[大师兄][Mike 2]

程序员

[GitHub - newOcean/HDLiveStreamingSdk: ios live hardware encoder and decoder][GitHub - newOcean_HDLiveStreamingSdk_ ios live hardware encoder and decoder]  
发现一个偷懒的sdk，iOS视频推流，播放，录制，拍照，demo。

[发布于 2016-06-12][2016-06-12]

0添加评论

收藏 感谢

[![刘丹][Mike]][Mike 3]

[刘丹][Mike 3]

IOS开发工程师

你好，我想请问一下，如果我要做视频直播类型的，如何直接解码传过来了的H264流而不是解码文件呢？

[发布于 2016-04-07][2016-04-07]

04 条评论

收藏 感谢

[![Allen Chan][Mike]][Allen Chan_Mike]

[Allen Chan][Allen Chan_Mike]

nothing is impossible

可以发一份完整代码吗？正在学习相关内容，谢谢啦。allenchan0311@qq.com

[发布于 2015-07-05][2015-07-05]

02 条评论

收藏 感谢

[![单纯][Mike]][Mike 4]

[单纯][Mike 4]

伪宅/德国足球迷/码农

具体流程可以参考github上的一个例子，[https://github.com/adison/-VideoToolboxDemo][https_github.com_adison_-VideoToolboxDemo] 注意create session和decode session时codecCtx和packet的数据可能会有一些小差别，可以根据具体情况修改  
但是对于不同的嵌入式编码版  
有的编码器的264码流可以解码成功，有的编码器死活解不了  
不知道是否苹果官方存在这方面的限制

[编辑于 2015-03-13][2015-03-13]

017 条评论

收藏 感谢

[![xiaoming1989][Mike]][xiaoming1989_Mike]

[xiaoming1989][xiaoming1989_Mike]

使用函数CMVideoFormatDescriptionCreate( )，不可以创建decoderFormatDescription吗？如果其他codec类型，CMVideoFormatDescriptionCreateFromH264ParameterSets( )就不能用了。

[发布于 2015-09-10][2015-09-10]

0添加评论

收藏 感谢

[![\[已重置\]][Mike]][Mike 5]

[\[已重置\]][Mike 5]

@[姚冬][v2-e579c26575f3f2b46450f0805a41ea91_xs.jpg 1]，大神，需要你的帮助啊，我解码出来后，用pixelBuffer创建CIImage和UIImage都提示结果为null，创建失败。然后我将pixelBuffer用gles显示，也遇到了图像无色彩、图像偏移的情况，你有遇到过类似情况吗？

[发布于 2015-07-27][2015-07-27]

0添加评论

收藏 感谢

[![阳光][03b42d62450ffcb05428b958512bea22_xs.jpg]][03b42d62450ffcb05428b958512bea22_xs.jpg 1]

[阳光][03b42d62450ffcb05428b958512bea22_xs.jpg 1]

看到你的文章，像找到了新大陆一样。我也正在学习这方面，如果可以的话，能给我发一份code吗，谢谢！cx0928@126.com

[发布于 2015-04-26][2015-04-26]

0添加评论

收藏 感谢

[![飞飘][Mike]][Mike 6]

[飞飘][Mike 6]

正在学习这方面的东西，同求代码，谢谢！！zhu770277@163.com

[发布于 2015-04-24][2015-04-24]

0添加评论

收藏 感谢

[![marico][]][marico 1]

[marico][marico 1]

ios工程师

可以给我发一份完整得代码吗？谢谢kuchengxiansheng@163.com

[发布于 2015-04-01][2015-04-01]

0添加评论

收藏 感谢

[![鞠国峰][3cca077f9d2000b75fb30d22f3bfaef3_xs.jpg]][3cca077f9d2000b75fb30d22f3bfaef3_xs.jpg 1]

[鞠国峰][3cca077f9d2000b75fb30d22f3bfaef3_xs.jpg 1]

自强不息

google到VLC的一个videotoolbox的patch  
[\[PATCH 1/2\] video chroma: add a Nv12 copy function which outputs I420][PATCH 1_2_ video chroma_ add a Nv12 copy function which outputs I420]  
[\[PATCH 2/2\] Add VideoToolbox based decoder][PATCH 2_2_ Add VideoToolbox based decoder]  
但是找了个mp4封装的视频，用VLCKit跑了一下，CPU变化不大，反而FPS降了一半，效果比软解码还差一大截，不清楚是哪个环节没搞对。。。

[发布于 2015-03-20][2015-03-20]

0添加评论

收藏 感谢

[![周小麦][Mike]][Mike 7]

[周小麦][Mike 7]

[@姚冬][Link 3]

按照你说的步骤调用硬件解码的接口，发现到VTDecompressionSessionDecodeFrame这步就卡着不动了，不知道你是否有碰到这种情况？

[发布于 2015-02-10][2015-02-10]

08 条评论

收藏 感谢

![匿名用户][aadd7b895_xs.jpg]

匿名用户

可以给我发一份完整得代码吗？谢谢mengqin1199@163.com

[发布于 2015-06-24][2015-06-24]

[v2-e579c26575f3f2b46450f0805a41ea91_xs.jpg]: https://pic2.zhimg.com/v2-e579c26575f3f2b46450f0805a41ea91_xs.jpg
[v2-e579c26575f3f2b46450f0805a41ea91_xs.jpg 1]: /images/20220613/fc22455ee7e24dc8ae1fdcf09abcaa87.png
[Link 1]: /images/20220613/fc22455ee7e24dc8ae1fdcf09abcaa87.png/answers/topic/19552330
[Link 2]: /images/20220613/fc22455ee7e24dc8ae1fdcf09abcaa87.png/answers/topic/19554298
[C]: /images/20220613/fc22455ee7e24dc8ae1fdcf09abcaa87.png/answers/topic/19584970
[WWDC - Apple Developer]: https://link.zhihu.com/?target=https%3A//developer.apple.com/wwdc/resources/sample-code/
[stevenyao_iOSHardwareDecoder _ GitHub]: https://link.zhihu.com/?target=https%3A//github.com/stevenyao/iOSHardwareDecoder
[2015-08-17]: https://www.zhihu.com/question/20692215/answer/37458146
[de866598640ef3245c4113c5523ec53a_xs.jpg]: https://pic3.zhimg.com/de866598640ef3245c4113c5523ec53a_xs.jpg
[de866598640ef3245c4113c5523ec53a_xs.jpg 1]: /images/20220613/24c5ebec6de64ba6be93d6703a2aa7dc.png
[H264_demo]: https://link.zhihu.com/?target=http%3A//www.cocoachina.com/bbs/read.php%3Ftid-1680946.html
[2016-05-03]: https://www.zhihu.com/question/20692215/answer/98770282
[aadd7b895_xs.jpg]: /images/20220613/66e6f1ea6ee84473bc66195fb40e0819.png
[http_developer.apple.com_library_ios_documentation_networkinginternet_conceptual_streamingmediaguide_FrequentlyAskedQuestions_FrequentlyAskedQuestions.html]: https://link.zhihu.com/?target=http%3A//developer.apple.com/library/ios/%23documentation/networkinginternet/conceptual/streamingmediaguide/FrequentlyAskedQuestions/FrequentlyAskedQuestions.html
[http_developer.apple.com_library_ios_documentation_networkinginternet_conceptual_streamingmediaguide_HTTPStreamingArchitecture_HTTPStreamingArchitecture.html_apple_ref_doc_uid_TP40008332-CH101-SW3]: https://link.zhihu.com/?target=http%3A//developer.apple.com/library/ios/%23documentation/networkinginternet/conceptual/streamingmediaguide/HTTPStreamingArchitecture/HTTPStreamingArchitecture.html%23//apple_ref/doc/uid/TP40008332-CH101-SW3
[2013-01-06]: https://www.zhihu.com/question/20692215/answer/15881846
[Mike]: /images/20220613/554e6734bb0540e791593935f8fa8875.png
[Mike 1]: https://www.zhihu.com/people/mike-61-28
[2017-01-04]: https://www.zhihu.com/question/20692215/answer/139064397
[Mike 2]: /images/20220613/9ac0217b25ce4f42887e047552730235.png
[GitHub - newOcean_HDLiveStreamingSdk_ ios live hardware encoder and decoder]: https://link.zhihu.com/?target=https%3A//github.com/newOcean/HDLiveStreamingSdk
[2016-06-12]: https://www.zhihu.com/question/20692215/answer/105547099
[Mike 3]: /images/20220613/39868e3437334b61bcd250cff054713e.png
[2016-04-07]: https://www.zhihu.com/question/20692215/answer/94059687
[Allen Chan_Mike]: /images/20220613/5b432820bf4f4039a22fbf62f41f435b.png
[2015-07-05]: https://www.zhihu.com/question/20692215/answer/53876418
[Mike 4]: /images/20220613/5c6af6b80fe54b91adf74860bed67adb.png
[https_github.com_adison_-VideoToolboxDemo]: https://link.zhihu.com/?target=https%3A//github.com/adison/-VideoToolboxDemo
[2015-03-13]: https://www.zhihu.com/question/20692215/answer/41905240
[xiaoming1989_Mike]: /images/20220613/01741d222b40472dbd27f5852efc38db.png
[2015-09-10]: https://www.zhihu.com/question/20692215/answer/63091446
[Mike 5]: /images/20220613/91d968b9830a49b6b078d040beb8bde5.png
[2015-07-27]: https://www.zhihu.com/question/20692215/answer/56639265
[03b42d62450ffcb05428b958512bea22_xs.jpg]: https://pic3.zhimg.com/03b42d62450ffcb05428b958512bea22_xs.jpg
[03b42d62450ffcb05428b958512bea22_xs.jpg 1]: /images/20220613/59530f3cf799401b802dc75345066015.png
[2015-04-26]: https://www.zhihu.com/question/20692215/answer/45910701
[Mike 6]: /images/20220613/a87cc7394b7240d4a761698d1152bd2a.png
[2015-04-24]: https://www.zhihu.com/question/20692215/answer/45805471
[marico]: /images/20220613/fd4930923092484cac0f8382ea87ce8c.png
[marico 1]: https://www.zhihu.com/people/ruixiang-sun
[2015-04-01]: https://www.zhihu.com/question/20692215/answer/43588921
[3cca077f9d2000b75fb30d22f3bfaef3_xs.jpg]: https://pic4.zhimg.com/3cca077f9d2000b75fb30d22f3bfaef3_xs.jpg
[3cca077f9d2000b75fb30d22f3bfaef3_xs.jpg 1]: /images/20220613/c91d84a28136406cadea112b4b1619f5.png
[PATCH 1_2_ video chroma_ add a Nv12 copy function which outputs I420]: https://link.zhihu.com/?target=http%3A//permalink.gmane.org/gmane.comp.video.videolan.vlc.devel/99468
[PATCH 2_2_ Add VideoToolbox based decoder]: https://link.zhihu.com/?target=http%3A//permalink.gmane.org/gmane.comp.video.videolan.vlc.devel/99469
[2015-03-20]: https://www.zhihu.com/question/20692215/answer/42493692
[Mike 7]: /images/20220613/5872b913286242aa8d219b49583d39b6.png
[Link 3]: https://www.zhihu.com/people/71637fe077b9a2d7be320e2800ccd818
[2015-02-10]: https://www.zhihu.com/question/20692215/answer/39384557
[2015-06-24]: https://www.zhihu.com/question/20692215/answer/52546433