《音频、图像及视频技术》学习笔记

た入场券 2023-01-13 04:28 133阅读 0赞

### 秒懂音视频开发学习笔记 ###

*  01\_移动通信技术的发展
 *  02\_重识图片
 *  03\_Windows开发环境搭建
 *  04\_Qt开发基础
 *  05\_重识声音
 *  06\_重识音频
 *  07\_音频录制01\_命令行
 *  08\_音频录制02\_编程
 *   *  Qt 中的几种输出方式
 *  09\_播放PCM
 *  10\_PCM 转 WAV
 *  11\_音频重采样 (Audio Resample)

> 学习视频源于小码哥的：[音频、图像及视频技术课程][Link 1]  
> MJ老师的文章内容很详细，我就不自己整理了，具体内容可以参考MJ的博客，每一个标题下都有  
> 我会理一份大纲出来，同时记录一些MJ文章里没有写的内容

> 我的音视频开发代码： [https://gitee.com/szluyu99/audio-video-dev][https_gitee.com_szluyu99_audio-video-dev]

# [01\_移动通信技术的发展][01] #

> MJ老师的博客：[【秒懂音视频开发】01\_移动通信技术的发展][01]

*  **1G：语音时代**
 *  **2G：文字时代**
 *  **3G：图片时代**
 *  **4G：视频时代**
 *  **5G：新的时代**

# [02\_重识图片][02] #

> MJ老师的博客：[【秒懂音视频开发】17\_重识图片][02]

*  **像素**
 *  **RGB颜色模型**
 *  **位深度**

> **LCD屏** 原理：  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70]  
> **LCD屏** 和 **OLED屏** 对比：  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 1]

bmp文件格式：

*  前54个字节： 文件头
 *  54个字节以后：以 B、G、R 的顺序显示每一个像素的颜色  
    ![在这里插入图片描述][2021041715153816.png]
 *  字节显示顺序对应图像是从左下角开始，依次往上  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 2]

# [03\_Windows开发环境搭建][03_Windows] #

> MJ老师的博客：[【秒懂音视频开发】04\_Windows开发环境搭建][03_Windows]

*  跨平台的音视频开发库：[FFmpeg][]
 *  GUI库：[Qt][]，开发工具：[QtCreator][Qt]
 *  **Qt 集成 FFmpeg**

> MC老师的博客：[【秒懂音视频开发】05\_Mac开发环境搭建  
> ][05_Mac_]

# [04\_Qt开发基础][04_Qt] #

> MJ老师的博客：[【秒懂音视频开发】06\_Qt开发基础][04_Qt]

*  控件的基本使用
 *  **信号与槽**：
    
     *  **基本使用**： `connect(信号的发送者, 信号, 信号的接收者, 槽);`
     *  **自定义信号**：  
        信号的发送者  
        信号的接收者  
        连接  
        **参数和返回值**：**信号的参数个数必须 >= 槽的参数个数**
     *  **连接两个信号**，注意传递关系  
        ![在这里插入图片描述][20210417204735398.png]
     *  **Lambda**处理点击事件：  
        `connect(btn, &QPushButton::clicked,[](int a) { qDebug() << "点击了按钮"; });`
     *  **自定义槽函数**  
        在`mainWindow.h`下自定义槽函数的声明，在`mainWindow.cpp`下实现自定义槽函数；  
        连接：`connect(btn, &QPushButton::clicked, this, &MainWindow::handleExit);`
     *  **使用 `.ui` 文件进行信号与槽的连接**  
        命名：`on_控件对象名_槽函数名`，例如 `on_loginButton_clicked()`

# [05\_重识声音][05] #

> MJ老师的博客：[【秒懂音视频开发】02\_重识声音][05]

*  **声波**：空气的振动带来了动能，能量传入了耳朵中，最后就听到了声音
    
     *  **振幅**：从平衡位置到最大位移位置之间的距离
     *  **周期**：空气分子完全来回振动一次所花费的时间，单位：秒(s)
     *  **频率**：物体每秒来回振动的次数，单位：赫兹（Hz）  
        频率 = 1 / 周期
 *  **音调**：频率越高，音调越高
 *  **响度**：当提高声音的响度（音量，大小）时，振动的幅度会变大  
    常用 dB（分贝）来描述声音的响度
 *  **音色**：是指声音的特色
 *  **噪音**

# [06\_重识音频][06] #

> MJ老师的博客：[【秒懂音视频开发】03\_重识音频][06]

PCM(Pulse Code Modulation) - **脉冲编码调制**

*  **采样**：每隔一段时间采集一次模拟信号的样本，在时间上将模拟信号离散化（把连续信号转换成离散信号）的过程
    
     *  采样率：每秒采集的样本数量
     *  采样定理：只有当采样率高于声音信号最高频率的2倍时，才能把采集的声音信号唯一地还原成原来的声音
 *  **量化**：将每一个采样点的样本值数字化
    
     *  位深度：使用多少个二进制位来存储一个采样点的样本值
 *  **编码**：将采样和量化后的数字数据转成二进制码流  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 3]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 4]
 *  其他概念
    
     *  声道
     *  比特率
     *  信噪比

音频的编码与解码：

*  **编码**：将未经压缩的原始音频数据PCM，使用某种音频编码压缩，再存成某种音频文件格式  
    压缩可分为：有损压缩、无损压缩  
    ![在这里插入图片描述][2021041814072226.png]
 *  **解码**:  
    ![在这里插入图片描述][20210418140744699.png]

常见的音频编码和文件格式

*  无损编码：Monkey’s Audio、FLAC、ALAC
 *  有损编码：MP3、WMA、AAC、Vorbis、Speex、Opus
 *  文件格式：Ogg、WAV、AIFF

> 就算是 PCM数据，也只是**相对无损**，任何音频编码其实都是有损的

# [07\_音频录制01\_命令行][07_01] #

> MJ老师的博客：[【秒懂音视频开发】07\_音频录制01\_命令行][07_01]

FFmpeg相关命令：

*  `ffmpeg`：对音视频进行编解码
 *  `ffprobe`：查看音视频的参数信息
 *  `ffplay`：播放音视频
 *  参数`-hide_bannder`：隐藏一些冗余的描述信息

通过命令行录音：

*  查看可用设备：`ffmpeg -devices`
 *  查看dshow支持的设备：`ffmpeg -f dshow -list_devices true -i dummy`
 *  指定设备进行录音：`ffmpeg -f dshow -i audio="麦克风阵列 (Realtek(R) Audio)" out.wav`
 *  设置dshow的参数：

ffmpeg -f dshow -sample_rate 15000 -sample_size 16 -channels 1 -i audio="麦克风阵列 (Realtek(R) Audio)" out.wav

# [08\_音频录制02\_编程][08_02] #

> MJ老师的博客：[https://www.cnblogs.com/mjios/p/14540642.html][08_02]

> 本章代码：[https://gitee.com/szluyu99/audio-video-dev/tree/master/09\_record\_audio\_sub\_thread][https_gitee.com_szluyu99_audio-video-dev_tree_master_09_record_audio_sub_thread]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70]  
查看 PCM 的格式：

ffmpeg -formats | findstr PCM

DE alaw            PCM A-law
    DE f32be           PCM 32-bit floating-point big-endian
    DE f32le           PCM 32-bit floating-point little-endian
    DE f64be           PCM 64-bit floating-point big-endian
    DE f64le           PCM 64-bit floating-point little-endian
    DE mulaw           PCM mu-law
    DE s16be           PCM signed 16-bit big-endian
    DE s16le           PCM signed 16-bit little-endian
    ....

由 dshow 采集的数据默认是 `DE s16be PCM signed 16-bit big-endian` 格式的

因此通过 ffmpeg 播放采集到的 out.pcm 指令如下：

ffplay -ar 44100 -ac 2 -f s16le out.pcm

通过 ffprobe 查看采集到的 out.pcm 数据：

ffprobe -ar 44100 -ac 2 -f s16le out.pcm

Input #0, s16le, from 'out.pcm':
      Duration: 00:00:25.00, bitrate: 1411 kb/s
        Stream #0:0: Audio: pcm_s16le, 44100 Hz, 2 channels, s16, 1411 kb/s

## Qt 中的几种输出方式 ##

如果采用 C语言、C++、FFmpeg 的输出方式都需要刷新输出流（缓冲区），因此在 Qt 项目中建议使用 `qDebug()` 的输出方式。

// C语言
    printf("printf----");
    
    // C++
    std::cout << "std::cout----";
    
    // FFmpeg
    av_log_set_level(AV_LOG_INFO);
    av_log(nullptr, AV_LOG_ERROR, "av_log1----");
    av_log(nullptr, AV_LOG_INFO, "av_log2----");
    av_log(nullptr, AV_LOG_WARNING, "av_log3----");
    // 日志级别:用于过滤日志输出
    // TRACE < DEBUG < INFO < WARNING < ERROR < FATAL < QUIET
    
    // 刷新标准输出流
    fflush(stdout);
    fflush(stderr);
    
    // Qt
    qDebug() << "qDebug()----";

# [09\_播放PCM][09_PCM] #

> MJ老师的博客：[【秒懂音视频开发】09\_播放PCM][09_PCM]

> 本章代码：[https://gitee.com/szluyu99/audio-video-dev/tree/master/11\_sdl\_play\_pcm][https_gitee.com_szluyu99_audio-video-dev_tree_master_11_sdl_play_pcm]

这期的代码很有搞头，要好好消化一下。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 5]  
播放 PCM：

*  初始化子系统
 *  打开音频设备
 *  打开文件
 *  开始播放
 *  **回调函数**
 *  释放资源

# 10\_PCM 转 WAV #

> MJ老师的博客：[【秒懂音视频开发】10\_PCM 转 WAV][10_PCM _ WAV]

> 本章代码：[https://gitee.com/szluyu99/audio-video-dev/tree/master/12\_pcm\_to\_wav][https_gitee.com_szluyu99_audio-video-dev_tree_master_12_pcm_to_wav]

命令行将 PCM 转 WAV：

ffmpeg -ar 44100 -ac 2 -f s16le -i out.pcm out.wav

加上一个输出文件参数 `-bitexact` 可以去掉 LIST Chunk：

ffmpeg -ar 44100 -ac 2 -f s16le -i out.pcm -bitexact out2.wav

[WAV 文件格式][WAV]：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 6]  
根据上图写出的 WAV 头结构体：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 7]  
LSB \\ MSB：

*  LSB（Least Significant Bit / Byte，最低有效位 / 字节），小端
 *  MSB（Most Significant Bit / Byte，最高有效位 / 字节），大端

> `0x11223344`，44 是最低有效字节，11 是最高有效字节  
> 小端：0x44 0x33 0x22 0x11（最低有效字节在前）  
> 大端：0x11 0x22 0x33 0x44（最高有效字节在前）

# 11\_音频重采样 (Audio Resample) #

> MJ 老师的博客：[https://www.cnblogs.com/mjios/p/14595083.html][https_www.cnblogs.com_mjios_p_14595083.html]

> 本章代码：[https://gitee.com/szluyu99/audio-video-dev/tree/master/13\_audio\_resample][https_gitee.com_szluyu99_audio-video-dev_tree_master_13_audio_resample]

**音频重采样**：将音频 A 转换成音频 B，并且音频 A、B 的参数（采样率、采样格式、声道数）并不完全相同。

命令行中，将 `44100_s16le_2` 转换成 `48000_f32le_1`：

ffmpeg -ar 44100 -ac 2 -f s16le -i 44100_s16le_2.pcm -ar 48000 -ac 1 -f f32le 48000_f32le_1.pcm

音频重采样：

1.  创建重采样上下文
2.  初始化重采样上下文
3.  创建输入缓冲区
4.  创建输出缓冲区
5.  读取文件数据，重采样
6.  释放资源  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 8]

> 指针知识拓展：  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 9]  
> 由图可见，实际上有4块堆空间，实际上要释放4次，所以释放代码如下：  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 10]

[Link 1]: https://ke.qq.com/course/3170461#term_id=103297439
[https_gitee.com_szluyu99_audio-video-dev]: https://gitee.com/szluyu99/audio-video-dev
[01]: https://www.cnblogs.com/mjios/p/14456126.html
[02]: https://www.cnblogs.com/mjios/p/14661561.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70]: /images/20221022/687330ff93df4307b2ac344c25721882.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 1]: /images/20221022/fda5bf0fe1bf4d85b6bbc62347acd03c.png
[2021041715153816.png]: /images/20221022/19d48106b20d43089537e6d84ef48a7e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 2]: /images/20221022/570a3fc9ebcb4fd8833f1292975a8da8.png
[03_Windows]: https://www.cnblogs.com/mjios/p/14465178.html
[FFmpeg]: http://ffmpeg.org/
[Qt]: https://www.qt.io/
[05_Mac_]: https://www.cnblogs.com/mjios/p/14482571.html
[04_Qt]: https://www.cnblogs.com/mjios/p/14506905.html
[20210417204735398.png]: /images/20221022/3a73f93213ae47d3a083e81fc8b8f559.png
[05]: https://www.cnblogs.com/mjios/p/14466418.html
[06]: https://www.cnblogs.com/mjios/p/14466420.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 3]: /images/20221022/3dd14a741be84708a30b9d07c36d7b95.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 4]: /images/20221022/1b787a325c8a467aba988a82cfba0398.png
[2021041814072226.png]: /images/20221022/1f87ee50abc8463483ccc39cf7848879.png
[20210418140744699.png]: /images/20221022/b94843822ffb4e5293ec85beb9669898.png
[07_01]: https://www.cnblogs.com/mjios/p/14512348.html
[08_02]: https://www.cnblogs.com/mjios/p/14540642.html
[https_gitee.com_szluyu99_audio-video-dev_tree_master_09_record_audio_sub_thread]: https://gitee.com/szluyu99/audio-video-dev/tree/master/09_record_audio_sub_thread
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_1_color_FFFFFF_t_70]: /images/20221022/05539b623d5841c9afc31d19709f6bbc.png
[09_PCM]: https://www.cnblogs.com/mjios/p/14581738.html
[https_gitee.com_szluyu99_audio-video-dev_tree_master_11_sdl_play_pcm]: https://gitee.com/szluyu99/audio-video-dev/tree/master/11_sdl_play_pcm
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 5]: /images/20221022/efebe2ffe4304804bcb393d54208f626.png
[10_PCM _ WAV]: https://www.cnblogs.com/mjios/p/14582270.html
[https_gitee.com_szluyu99_audio-video-dev_tree_master_12_pcm_to_wav]: https://gitee.com/szluyu99/audio-video-dev/tree/master/12_pcm_to_wav
[WAV]: https://www.cnblogs.com/mjios/p/14466420.html#toc_title_28
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 6]: /images/20221022/1bd2d796a0b34d909fbfb7b0e595f2e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 7]: /images/20221022/45243c5d0e3c46a7b99f388140a3a3c9.png
[https_www.cnblogs.com_mjios_p_14595083.html]: https://www.cnblogs.com/mjios/p/14595083.html
[https_gitee.com_szluyu99_audio-video-dev_tree_master_13_audio_resample]: https://gitee.com/szluyu99/audio-video-dev/tree/master/13_audio_resample
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 8]: /images/20221022/c624641cb28d481393cbc9a351a827cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 9]: /images/20221022/57d865f2d5c0422bae8a71f5f37559a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzczNDA5NQ_size_16_color_FFFFFF_t_70 10]: /images/20221022/63a06b873516422eb83868d6ffaaa0c8.png