英伟达DeepStream学习笔记4——DeepStream 5 中使用opencv进行相关处理

雨点打透心脏的1/2处 2023-01-17 08:55 277阅读 0赞

### DeepStream中使用opencv进行相关处理 ###

*  参考文章：
 *  Deepstream官方提供的例程
 *   *  例程位置
     *  使用方法

最近需要在deepstream框架中增加opencv进行畸变矫正，因此需要将deepstream格式的视频帧转换成Mat格式进行opencv相关的库函数调用及处理。

# 参考文章： #

1、[deepstream官方教程——使用OpenCV集成示例实现自定义GStreamer插件][deepstream_OpenCV_GStreamer]

2、[https://blog.csdn.net/ProLover98/article/details/108217510][https_blog.csdn.net_ProLover98_article_details_108217510]  
3、[https://blog.csdn.net/weixin\_38369492/article/details/105210073][https_blog.csdn.net_weixin_38369492_article_details_105210073]  
4、[https://blog.csdn.net/weixin\_38369492/article/details/105121729][https_blog.csdn.net_weixin_38369492_article_details_105121729]

# Deepstream官方提供的例程 #

deepstream官方提供了一个opencv的例程，主要实现了将deepstream检测的目标物体里调用opencv的库函数进行高斯模糊。效果如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb19odWlfZmVp_size_16_color_FFFFFF_t_70]

## 例程位置 ##

例程文件夹的位置在：

> opt\\nvidia\\deepstream\\deepstream-5.1\\sources\\apps\\sample\_apps\\deepstream-opencv-test

和

> \\opt\\nvidia\\deepstream\\deepstream-5.1\\sources\\gst-plugins\\gst-dsexample

中。  
gst-dsexample是具体实现的功能，deepstream-opencv-test是读取视频并链接gst-dsexample文件夹下生成的库实现功能。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb19odWlfZmVp_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb19odWlfZmVp_size_16_color_FFFFFF_t_70 2]

## 使用方法 ##

查看两个文件夹下的readme.txt

在\\opt\\nvidia\\deepstream\\deepstream-5.1\\sources\\gst-plugins\\gst-dsexample文件夹下将makefile的cuda版本号添加，并使用（具体编译可看该文件夹下的readme及makefile文件）

make all

编译。生成**libnvdsgst\_dsexample.so**动态库，然后将该库复制到opt\\nvidia\\deepstream\\deepstream-5.1\\lib\\gst-plugins文件夹下替换之前的**libnvdsgst\_dsexample.so**，

sudo cp libnvdsgst_dsexample.so /opt/nvidia/deepstream/deepstream-5.0/lib/gst-plugins/

然后进入到opt\\nvidia\\deepstream\\deepstream-5.1\\sources\\apps\\sample\_apps\\deepstream-opencv-test文件夹下使用

make clean;make all

编译,生成可执行文件——deepstream-opencv-test

使用如下命令进行运行测试

./deepstream-opencv-test file:///home/sample_720p.mp4

效果图如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb19odWlfZmVp_size_16_color_FFFFFF_t_70 3]

这里的高斯滤波可以改成你自己想要的函数和实现相关的功能，然后编译生成动态库，然后实现你的功能。

[deepstream_OpenCV_GStreamer]: https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_sample_custom_gstream.html#accessing-nvbufsurface-memory-in-opencv
[https_blog.csdn.net_ProLover98_article_details_108217510]: https://blog.csdn.net/ProLover98/article/details/108217510
[https_blog.csdn.net_weixin_38369492_article_details_105210073]: https://blog.csdn.net/weixin_38369492/article/details/105210073
[https_blog.csdn.net_weixin_38369492_article_details_105121729]: https://blog.csdn.net/weixin_38369492/article/details/105121729
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb19odWlfZmVp_size_16_color_FFFFFF_t_70]: /images/20221021/551b480dd30c4542bcf47e7ec6f3bd03.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb19odWlfZmVp_size_16_color_FFFFFF_t_70 1]: /images/20221021/c3475934dce541afb289b9429740ab5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb19odWlfZmVp_size_16_color_FFFFFF_t_70 2]: /images/20221021/8dfa3b51610c40628830877933025de9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hb19odWlfZmVp_size_16_color_FFFFFF_t_70 3]: /images/20221021/d41a92183bbd4b73ac0527c490ebaccb.png