MP4文件格式分析及分割实现(附源码)

分手后的思念是犯贱 2022-10-28 14:23 5阅读 0赞

[https://blog.csdn.net/u013898698/article/details/77152347][https_blog.csdn.net_u013898698_article_details_77152347]

## [MP4文件格式分析及分割实现(附源码)][MP4] ##

# **　　　　　　　　　　　　　　　MP4文件格式分析**  #

**　　MP4**(MPEG-4 Part 14)是一种常见的多媒体容器格式，它是在“ISO/IEC 14496-14”标准文件中定义的，属于MPEG-4的一部分，是“ISO/IEC 14496-12(MPEG-4 Part 12 ISO base media file format)”标准中所定义的媒体格式的一种实现，后者定义了一种通用的媒体文件结构标准。MP4是一种描述较为全面的容器格式，被认为可以在其中嵌入任何形式的数据，各种编码的视频、音频等都不在话下，不过我们常见的大部分的MP4文件存放的**AVC(H.264)**或**MPEG-4(Part 2)**编码的视频和**AAC**编码的音频。MP4格式的官方文件后缀名是“.mp4”，还有其他的以mp4为基础进行的扩展或者是缩水版本的格式，包括：**M4V**,**3GP**,**F4V**等。

一个mp4文件有可能包含非常多的box(全部大约70多个)，在很大程度上增加了解析的复杂性。如果要全部解析必要性不是很大。大部分mp4文件没有那么多的box类型，下图就是一个简化了的，常见的mp4文件结构：

![dfad30d017583a17489b21698a36ec89.png][]

下图是节点box详细说明：

![7976338512ff96cd73fcae1853ea30b2.png][]

下面我们将对以上主要box的解析进行详细说明：

# **1. 一级box** #

**　**　一级box主要包含ftyp、moov、free、mdat等等。

## **1.1 ftyp box** ##

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

/********************************************************************************************
    **                            File Type Box (ftyp)
    **
    --------------------------------------------------------------------------------------------
    **        字段名称            　　|    长度(bytes)   |        有关描述
    --------------------------------------------------------------------------------------------
    **        boxsize               |    4            |        box的长度
    **        boxtype               |    4            |        box的类型
    **        major_brand           |    4            |
    **        minor_version         |    4            |        版本号
    **        compatible_brands     |    4 * N        |        本文件遵从的多种协议（ismo, iso2, mp41）
    ********************************************************************************************/

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

运行结果：

![43121ed25f90bcc3d8a2d3e6d35a532f.png][]

## **1.2 moov box** ##

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

/********************************************************************************************
    **        字段名称            |    长度(bytes)   |        有关描述
    --------------------------------------------------------------------------------------------
    **        boxsize            |    4            |        box的长度
    **        boxtype            |    4            |        box的类型
    ********************************************************************************************/

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

**1.3 free box**

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

**1.4 mdat box**

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

/********************************************************************************************
    **        字段名称             |    长度(bytes)    |        有关描述
    --------------------------------------------------------------------------------------------
    **        boxsize             |    4             |        box的长度
    **        boxtype             |    4             |        box的类型
    **                                               |        后面全是真实数据
    ********************************************************************************************/

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

运行结果：

![cfe1af3c34cbf8ba7cc78c8f040792c4.png][]

# **2. 二级box** #

**　**　本节所说的二级box皆为moov的子box,主要包含mvhd、trak、udat等等。

## **2.1 mvhd box** ##

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

/************************************************************************************************************
    **                                            mvhd
    **
    --------------------------------------------------------------------------------------------
    **        字段名称            　　|    长度(bytes)   |        有关描述
    --------------------------------------------------------------------------------------------
    **        boxsize               |    4            |        box的长度
    **        boxtype               |    4            |        box的类型
    **        version               |    1            |        box版本，0或1，一般为0（以下字节数均按version = 0）
    **        flags                 |    3            |        
    **        creation time         |    4            |        创建时间（相对于UTC时间1904 - 01 - 01零点的秒数）
    **        modification time     |    4            |        修改时间
    **        time scale            |    4            |        文件媒体在1秒时间内的刻度值，可以理解为1秒长度的时间单元数
    **        duration              |    4            |        该track的时间长度，用duration和time scale值可以计算track时长
    **        rate                  |    4            |        推荐播放速率，高16位和低16位分别为小数点整数部分和小数部分，即[16.16] 格式.该值为1.0 (0x00010000)
    **        volume                |    2            |        与rate类似，[8.8] 格式，1.0（0x0100）表示最大音量
    **        reserved              |    10           |        保留位
    **        matrix                |    36           |        视频变换矩阵
    **        pre-defined           |    24           |        
    **        next track id         |    4            |        下一个track使用的id号
    ************************************************************************************************************/

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

运行结果：

![c333fcb028a8f5858daf6d33a541f869.png][]

**2.2 trak box**

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

**2.3 udat box**

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

/************************************************************************************************************
    **           udat
    **
    --------------------------------------------------------------------------------------------
    **  字段名称      | 长度(bytes)    |  有关描述
    --------------------------------------------------------------------------------------------
    **  boxsize    　| 4　　　　　　　　|  box的长度
    **  boxtype      | 4　　　　　　　　|  box的类型
    **                  　　　　　　　　|  用户自定义数据解析
    ************************************************************************************************************/

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

运行结果：

![659a9ffc3cb2043f8feb1acf3990cfd3.png][]

# **3. 三级box** #

**　**　本节所说的三级box皆为trak的子box,主要包含tkhd、mdia等。

## **3.1 tkhd box** ##

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

/************************************************************************************************************
    **                                        tkhd
    **
    -------------------------------------------------------------------------------------------------------------
    **        字段名称            　　 |    长度(bytes)   |        有关描述
    -------------------------------------------------------------------------------------------------------------
    **        boxsize                |    4            |        box的长度
    **        boxtype                |    4            |        box的类型
    **        version                |    1            |        box版本，0或1，一般为0。（以下字节数均按version = 0）
    **        flags                  |    3            |        按位或操作结果值，预定义如下;
                                                        　　　　 0x000001 track_enabled，否则该track不被播放；
                                                        　　　　 0x000002 track_in_movie，表示该track在播放中被引用；
                                                        　　　　 0x000004 track_in_preview，表示该track在预览时被引用。
                                                        　　　　 一般该值为7，如果一个媒体所有track均未设置track_in_movie和track_in_preview,将被理解为所有track均设置了这两项;
                                                        　　　　 对于hint track，该值为0;
    **        creation_time          |    4            |        创建时间（相对于UTC时间1904 - 01 - 01零点的秒数）
    **        modification_time      |    4            |        修改时间
    **        track_id               |    4            |        id号 不能重复且不能为0
    **        reserved               |    4            |        保留位
    **        duration               |    4            |        track的时间长度
    **        reserved               |    8            |        保留位
    **        layer                  |    2            |        视频层，默认为0，值小的在上层
    **        alternate_group        |    2            |        track分组信息，默认为0表示该track未与其他track有群组关系
    **        volume                 |    2            |        [8.8] 格式，如果为音频track，1.0（0x0100）表示最大音量；否则为0
    **        reserved               |    2            |        保留位
    **        matrix                 |    36           |        视频变换矩阵
    **        width                  |    4            |        宽
    **        height                 |    4            |        高，均为[16.16] 格式值 与sample描述中的实际画面大小比值，用于播放时的展示宽高
    ************************************************************************************************************/

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

运行结果：

![f37e6a28efec32e296b604eec74028d6.png][]

**3.2 mdia box**

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

**4. 四级box**

**　**　本节所说的四级box皆为mdia的子box,主要包含mdhd、hdlr、minf等。

## **4.1 mdhd box** ##

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

结果：

![ea63747cb128164591867915fd727791.png][]

## **4.2 hdlr box** ##

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

/************************************************************************************************************
    **                                        hdlr
    **
    -------------------------------------------------------------------------------------------------------------
    **        字段名称            　　 |    长度(bytes)    |        有关描述
    -------------------------------------------------------------------------------------------------------------
    **        boxsize                |    4             |        box的长度
    **        boxtype                |    4             |        box的类型
    **        version                |    1             |        box版本0或1 一般为0 (以下字节数均按version=0)
    **        flags                  |    3             |
    **        pre-defined            |    4             |
    **        handler type           |    4             |        在media box中，该值为4个字符
                                                        　　　　　　"vide"— video track
                                                        　　　　　　"soun"— audio track
                                                        　　　　　　"hint"— hint track
    **        reserved               |    12            |
    **        name                   |    不定           |        track type name，以‘\0’结尾的字符串
    ************************************************************************************************************/

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

结果：

![05c64a86edab641158fd07c7e95ae37e.png][]

## **4.3 minf box** ##

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

**5. 五级box**

**　**　本节所说的五级box皆为minf的子box,主要包含header box(vmhd/smhd/hmld/nmld)、stbl等。

## **5.1 header box** ##

本处的headerbox会根据前面的handler type数值选择哪个box。

"vide"—vmhd 视频

"soun"— smhd 音频

"hint"—hmhd 忽略

vmhd结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

/************************************************************************************************************
    **                                        vmhd
    **
    -------------------------------------------------------------------------------------------------------------
    **        字段名称            |    长度(bytes)    |        有关描述
    -------------------------------------------------------------------------------------------------------------
    **        boxsize                |    4            |        box的长度
    **        boxtype                |    4            |        box的类型
    **        version                |    1            |        box版本0或1 一般为0 (以下字节数均按version=0)
    **        flags                |    3            |
    **        graphics_mode        |    4            |        视频合成模式，为0时拷贝原始图像，否则与opcolor进行合成
    **        opcolor                |    2 ×3        |        ｛red，green，blue｝
    ************************************************************************************************************/

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

结果：

![77929021b7a14216a74a2352f874dbec.png][]

## **5.2 stbl box** ##

结构：

![复制代码][69c5a8ac3fa60e0848d784a6dd461da6.png]

**6. 六级box**

**　　本节所说的六级box皆为stbl的子box,主要包含stsd、stts、stsz、stsc、stss、stco等，这些也是mp4文件设计的精髓所在，主要控制chunk、sample、mdat之间的映射关系。**

## **6.1 stsd box** ##

**stsd： Sample Description Box，解析stsd可获得coding类型、视频宽高、音频samplesize、channelcount这些和解码器有关信息。**

![b3d3fad8dbef08e3d89c51c2dc3cad4f.png][]

## **6.2 stts box** ##

**stts： Decoding Time to Sample Box，时间戳和Sample映射表**

![9ee5cf5e50a47535a3ab93a813b03e52.png][]

上图是一个video trak，说明该视频包含87帧数据，每帧包含512个采样。

总共512\*87=44544个采样，和我们前面mdhd box的Duration完全一致。

Duration / TimeScale = 44544 / 12288 = 3.625秒 正是我们的视频播放长度。

12288 / 512 = 24 p/s (帧率)。

## **6.3 stsz box** ##

**stsz, stz2： Sample Size Boxes，每个Sample大小的表**

![29f1b55ffa21156e64d3f57861e845d0.png][]

一共87帧 每帧的字节大小。

## **6.4 stsc box** ##

**stsc： Sample to chunk 的映射表。**

![893ad4d2b9afadf78dfa018279c89a33.png][]

前面说了一共87帧数据，放在83个chunk中。1~82个chunk每个里面放1帧，第83个chunk放了5帧。

## **6.5 stss box** ##

**stss： 关键帧索引表。**

![78f9e9a486ef3d2aeed173ead893fd13.png][]

第1、13、25、37、49、61、73、85.... 这些帧都是关键帧。

每12帧就有一个关键帧， 前面我们计算得知fps是24。由此可知该视频关键帧间隔为0.5秒。

## **6.6 stco box** ##

**'stco'，'co64'： Chunk位置偏移表**

![4fcbd453a30f3be16c8476857f1febbe.png][]

一共83个chunk，记录在mdat真实数据中的字节偏移量。

下图为第三方MP4文件解析结果：

![4065bdad8f394f09d424b547b9f719a0.png][]

MP4文件格式解析源码：[https://github.com/kingsunc/AVFileParse][https_github.com_kingsunc_AVFileParse]

搞清楚stbl的映射关系后 我们就可以进行MP4文件的分割实现（也就是所谓的点播拖动）。

MP4分割实现源码：[https://github.com/kingsunc/AVFileParse/tree/master/Mp4\_Segment][https_github.com_kingsunc_AVFileParse_tree_master_Mp4_Segment]

[https_blog.csdn.net_u013898698_article_details_77152347]: https://blog.csdn.net/u013898698/article/details/77152347
[MP4]: http://www.cnblogs.com/Kingfans/p/7170478.html
[dfad30d017583a17489b21698a36ec89.png]: /images/20221024/0fcf16a6f7df4b0e91beb406d4f27622.png
[7976338512ff96cd73fcae1853ea30b2.png]: /images/20221024/4953a995fd9d43c4acf6f078c70d52e2.png
[69c5a8ac3fa60e0848d784a6dd461da6.png]: /images/20221024/4f8559cd174c42b2b03003849bf35a16.png
[43121ed25f90bcc3d8a2d3e6d35a532f.png]: /images/20221024/7286e04198d84c79b0bf34c3a58e6caf.png
[cfe1af3c34cbf8ba7cc78c8f040792c4.png]: /images/20221024/e539eb8501e44473ba2e8e09edea8c5b.png
[c333fcb028a8f5858daf6d33a541f869.png]: /images/20221024/2d5e921db9784ce285bf1307be45985c.png
[659a9ffc3cb2043f8feb1acf3990cfd3.png]: /images/20221024/a35d391117344a4491dffd5bf32b2fc2.png
[f37e6a28efec32e296b604eec74028d6.png]: /images/20221024/3c50af9efe7e41e9b5fa2c9a111d4e45.png
[ea63747cb128164591867915fd727791.png]: /images/20221024/acf5caca9e1147afb6fb3b7206eaddcc.png
[05c64a86edab641158fd07c7e95ae37e.png]: /images/20221024/dff8ab463b984c1dadd594ccab6151c3.png
[77929021b7a14216a74a2352f874dbec.png]: /images/20221024/9f211cf826524168a36e0295c6a83336.png
[b3d3fad8dbef08e3d89c51c2dc3cad4f.png]: /images/20221024/14881838507b4fc38276a479eb7e5a7c.png
[9ee5cf5e50a47535a3ab93a813b03e52.png]: /images/20221024/63bd45e3a08942e4925d011ba9d7368f.png
[29f1b55ffa21156e64d3f57861e845d0.png]: /images/20221024/add561a13c3f4fbe962a6f67bbf9b2f8.png
[893ad4d2b9afadf78dfa018279c89a33.png]: /images/20221024/2bc225ed2ed44b88ab87de15b091acfb.png
[78f9e9a486ef3d2aeed173ead893fd13.png]: /images/20221024/5bad9f8832f74d53a815396256a0a215.png
[4fcbd453a30f3be16c8476857f1febbe.png]: /images/20221024/84e9c5bc5770410f9dad6745ee04756d.png
[4065bdad8f394f09d424b547b9f719a0.png]: /images/20221024/ce49bade20664275ad49729275a3bc5f.png
[https_github.com_kingsunc_AVFileParse]: https://github.com/kingsunc/AVFileParse
[https_github.com_kingsunc_AVFileParse_tree_master_Mp4_Segment]: https://github.com/kingsunc/AVFileParse/tree/master/Mp4_Segment