音视频开发进阶 - 互动直播混流服务开发

浅浅的花香味﹌ 2022-01-20 05:37 235阅读 0赞

## FFynamic - 扩展FFmpeg的音视频处理库 与 互动直播混流服务开发 ##

FFdynamic封装了FFmpeg的底层音视频处理，提供一个将音视频不同组件进行组合的框架，以及在程序运行时可以动态的改变各组件状态的模块。

以下是使用FFdynamic开发的一个互动直播程序，效果如图：

*图示了自动分屏变化（由2个输入流到3个输入流）和通过request改变分屏（4分屏、9分屏)*

## FFdynamic 可将音视频处理的各模块进行组合 ##

比如，我们开发了一个去雾模块，想对比下去雾的效果，我们可以将原始流和去雾后流合成到一个屏幕编码保存，这个场景如下：

Demux |-> Audio Decode -> |-> Audio Encode -----------------------------------------> |
          |                                                                               | -> Muxer
          |                   |-> Dehaze Filter -> |                                      |
          |-> Video Decode -> |                    | Mix original and dehzed ->| Encode ->|
                              | -----------------> |
    复制代码

解复用后将视频流送入视频解码器，解码后的帧一路送入去雾模块，另一路送入video mix模块；去雾后的数据也输出到video mix模块，经mix后编码保存。效果如下：

源代码在 [这里][Link 1]

项目更多信息查看： [github.com/Xingtao/FFd…][github.com_Xingtao_FFd]

[Link 1]: https://link.juejin.im?target=https%3A%2F%2Fgithub.com%2FXingtao%2FFFdynamic%2Fblob%2Fmaster%2FpluginExample%2FREADME.md
[github.com_Xingtao_FFd]: https://link.juejin.im?target=https%3A%2F%2Fgithub.com%2FXingtao%2FFFdynamic

发表评论取消回复

表情：

评论列表（有 0 条评论，235人围观）

还没有评论，来说两句吧...

相关阅读

相关【音视频】直播CDN介绍

0x1 前言以下内容是从一个`运维`的角度看待问题，主要借鉴了某某云和某站的直播架构总结的经验，还加入了一些自己的思考，希望能在CDN这条道路上走得更远。 0x2

灰太狼/ 2024年04月01日 14:15/ 0 赞/ 29 阅读

相关 h.265音视频开发,H265码音视频流解析

H.265技术的应用编码技术主要运用于视频播放设备、软件应用以及拍摄、录制视频的设备。人们最熟悉的莫过于PPS网络视频播放器。在PC屏客户端产品上面，PPS已经于201

叁歲伎倆/ 2024年03月16日 20:37/ 0 赞/ 57 阅读

相关音视频直播--技术架构

前言今天和大家讲一下音视频直播技术架构。之前的关注点主要放在客户端如何采集音频数据上，经过这两天的思考，我觉得应该先给大家讲一下音视频直播技术架构，这样更容易从整体上理

浅浅的花香味﹌/ 2023年10月18日 19:16/ 0 赞/ 122 阅读

相关 Electron 开发音视频

废话不多说，咱直接进入正题！创建 Electron 项目前提条件 > 在使用Electron进行开发之前，需要安装 Node.js。要检查 Node.js

忘是亡心i/ 2022年10月06日 05:45/ 0 赞/ 194 阅读

相关音视频开发-websocket教程

文章链接 https://gitee.com/fakerlove/websocket WebSocket 聊天室开发 > https://edu.csdn.n

布满荆棘的人生/ 2022年09月08日 15:52/ 0 赞/ 240 阅读

相关音视频开发基础

致敬雷博： [http://blog.csdn.net/leixiaohua1020/][http_blog.csdn.net_leixiaohua1020] [https:

r囧r小猫/ 2022年05月29日 04:45/ 0 赞/ 256 阅读

相关音视频开发进阶指南--音视频基础

FFmpeg API的介绍与使用 ![70][] ![70 1][] FFmpeg的整体架构： ![70 2][] FFmpeg的默认编译会产生四个可执行文件和8个静

客官°小女子只卖身不卖艺/ 2022年05月21日 13:38/ 0 赞/ 357 阅读

相关音视频开发进阶指南--音视频概念基础

音频概念基础：采样、量化和编码：首先要对模拟信号进行采样，所谓采样就是在时间轴上对信号进行数字化。根据奈奎斯特定理（也称为采样定理），按比声音最高频率高2倍以上的频率对

蔚落/ 2022年05月21日 01:22/ 0 赞/ 435 阅读

相关音视频开发进阶 - 互动直播混流服务开发

FFynamic - 扩展FFmpeg的音视频处理库与互动直播混流服务开发 FFdynamic封装了FFmpeg的底层音视频处理，提供一个将音视频不同组件进行组合的框

浅浅的花香味﹌/ 2022年01月20日 05:37/ 0 赞/ 236 阅读

相关音视频开发学习

音视频开发学习： 1.[《视频编码扫盲篇》][Link 1] 2.[《软解/硬解/码率》][Link 2] 3.[《视频编解码器流程概述》][Link 3] 4.[

叁歲伎倆/ 2021年12月17日 12:01/ 0 赞/ 416 阅读