OpenCV调用TensorFlow是什么意思

小灰灰 2022-03-17 01:38 261阅读 0赞

最近在看英文版的《Learning OpenCV 3》，看原书与看中文版相比，效率上不会有明显劣势，多了查单词的时间，但能更理解内容，翻译有时会省略一些显而易见但重要的细节，即翻译是从译者的角度，去理解、删减内容后再去讲述，还是看英文原版比较好。

这本书的两个作者是Adrian Kaehler博士和Gary Bradski博士。

Dr.Adrian Kaehler是一个企业家、硅谷Deep Learning Group的创始人，他的著作涵盖机器学习、统计模型、计算机视觉和机器人。Adrian Kaehler博士还在斯坦福大学AI实验室任职，曾作为成员，赢得DARPA Grand Challenge的胜利，这是一个无人驾驶技术业内的顶级比赛，由DARPA(美国国防先进研究项目局)出资赞助。美国国会授权DARPA部门可以出资支持赞助那些能够给军事应用带来革命性改变的技术，这项赛事一开始是为了促进在极限环境下无人驾驶车辆技术的发展。

Gary Bradski是Arraiy.ai的CTO，曾在多个创业公司任职，并在斯坦福大学AI实验室的计算机科学部门做consulting professor，他是OpenCV库的创立者，在开源方面有很多贡献，在开源社区享有极高声誉。

**深度学习是OpenCV的未来方向之一**

上一篇也提到，Learning OpenCV 3这本书在谈到OpenCV的未来时首先提到了「深度学习」：

> OpenCV可以读取和运行由例如Caffe、Torch、Theano等深度学习框架训练的模型，代码在：  
> https://github.com/opencv/opencv\_contrib/tree/master/modules/cnn\_3dobj。
> 
> OpenCV还将支持在嵌入式系统和智能相机这样的设备上运行深度学习模块。OpenCV的DNN模块扩展自tiny\_dnn。

tiny\_dnn是一个基于DNN的轻量级深度学习开源库，现在OpenCV已发展为支持包括Tensorflow在内的大多数主流深度学习框架。

**实现方式：通过DNN调用训练好的模型**

去年差不多这个时候(2017年8月)，pyimagesearch网站发表过一篇文章《Deep Learning with OpenCV》:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbWlud2FuZzAzMTE_size_16_color_FFFFFF_t_70][]

文中提到，我们不能也不应该使用OpenCV来训练模型，而是应该通过DNN模块来调用其他深度学习框架训练的结果。

**什么是DNN？**

在介绍DNN之前，我们再来简单看一下OpenCV的安装、代码结构等。有两个地方可以下载OpenCV，一个是官网https://opencv.org，另一个是OpenCV的GitHub。官网上，每个版本都给出了下面这样的列表：

> Documentation  
> Sources  
> Win pack  
> iOS pack  
> Android pack

可以根据需要下载相应内容。Documentation是在线文档，pack就是sources+build。而GitHub上面是专门放sources的，另外，如果需要opencv\_contrib就只能来GitHub下载。

DNN即Deep Neural network，一种人工神经网络，简单地说就是很多层的神经网络。OpenCV从3.1.0开始支持DNN，2.x时代是没有dnn的，我看了一下2.4.9的\\sources\\modules\\contrib\\src文件夹，一共39个cpp文件，没有dnn相关的源码，包括最新2.x版本的2.4.13.6也没有。3.1.0和3.2.0的DNN模块都在opencv\_contrib中，3.3.0开始被提到主仓库中了。

另外，有两个与DNN长得很像的名词：CNN、RNN，CNN是convolutional neural network，即卷积神经网络，RNN是recurrent neural network，循环神经网络。

**Tensorflow：一种深度学习框架**

Tensorflow最初是由Google Brain团队（隶属于Google的AI部门）中的研究人员和工程师开发的，可为机器学习和深度学习提供强力支持。这里有两点需要注意，一是「开源」，Tensorflow在GitHub上保持开源，但Google仍在维护其内部版本。二是「之一」，Tensorflow只是众多开源机器智能库中的一种。

为什么选择Tensorflow呢？简单的说，首先Tensorflow可能是最流行的。目前流行的几个深度学习库是：Tensorflow、Theano、Torch、Keras、Caffe。其次，Tensorflow的接口非常简洁。最后，Tensorflow是为产品而生的，而不仅仅是研究。

**两个数据集**

我看到很多使用OpenCV调用Tensorflow(或者Caffe)模型的例子，都用到了下面两个数据集。

CIFAR-10数据集：  
http://www.cs.toronto.edu/~kriz/cifar.html  
它有python、Matlab、binary三个版本的数据集，其中binary是适用于C/C++的。

MNIST数据集：  
http://yann.lecun.com/exdb/mnist/

大家可以思考一下，如何建立自己的数据集？

--------------------

本文2018-08-05 发于公众号：**老王AI路**，更多文章可扫描左侧二维码查看

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbWlud2FuZzAzMTE_size_16_color_FFFFFF_t_70]: /images/20220317/01d1b262239f4b499b9ce96178c3314d.png