cuDNN兼容性问题造成的caffe/mnist,py-faster-rcnn/demo运行结果错误

亦凉 2022-09-29 14:54 173阅读 0赞

# 问题描述 #

我有两台电脑，一台笔记本GTX965M显卡，台式机是GTX1060显卡  
两台电脑上的软件环境都一样:ubuntu16+cuda8.0+cuDNN4,显卡驱动nvidia-378  
在笔记本上运行Caffe带的MNIST手写体识别训练，和py-faster-rcnn的目标检测演示程序(demo.py)很正常（GPU,CPU模式都正常），  
在台式机上运算，CPU模式正常，但是GPU模式下结果居然不对了：

以下是MNIST训练的运算结果

> I0316 12:42:03.299001 12558 solver.cpp:454\] Snapshotting to binary proto file examples/mnist/lenet\_iter\_10000.caffemodel  
> I0316 12:42:03.303056 12558 sgd\_solver.cpp:273\] Snapshotting solver state to binary proto file examples/mnist/lenet\_iter\_10000.solverstate  
> I0316 12:42:03.305409 12558 solver.cpp:317\] Iteration 10000, loss = 2.29934  
> I0316 12:42:03.305425 12558 solver.cpp:337\] Iteration 10000, Testing net (\#0)  
> I0316 12:42:03.350900 12558 solver.cpp:404\] Test net output \#0: accuracy = 0.1135  
> I0316 12:42:03.350924 12558 solver.cpp:404\] Test net output \#1: loss = 2.3011 (\* 1 = 2.3011 loss)  
> I0316 12:42:03.350927 12558 solver.cpp:322\] Optimization Done.  
> I0316 12:42:03.350930 12558 caffe.cpp:254\] Optimization Done.

正常情况下10000次迭代后的精度应该是0.99左右，但现在居然是 0.1135 !  
对于10个数字而言这基本上就是瞎猜的精度啊。

运算py-faster-rcnn的demo程序如下，

> Loaded network /home/guyadong/tmp/py-faster-rcnn/data/faster\_rcnn\_models/VGG16\_faster\_rcnn\_final.caffemodel  
> ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~  
> Demo for data/demo/000456.jpg  
> Detection took 0.084s for 300 object proposals  
> ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~  
> Demo for data/demo/000542.jpg  
> Detection took 0.081s for 259 object proposals  
> ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~  
> Demo for data/demo/001150.jpg  
> Detection took 0.067s for 223 object proposals  
> ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~  
> Demo for data/demo/001763.jpg  
> Detection took 0.066s for 201 object proposals  
> ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~  
> Demo for data/demo/004545.jpg  
> Detection took 0.066s for 172 object proposals

正常情况下，最后应该显示画了目标标注矩形框的图像，然鹅现在没有任何结果图像显示。。。而且每个检测执行时间都在几十毫秒级别，太快了，相当于没执行。

# 解决方案 #

在台式机上折腾多次找不到原因，我又回到笔记本上准备再验证一下，发现我在笔记本上曾经用cuDNN5.1编译过caffe，回想起最初我是用cuDNN5.1的，而且也运行过MNIST训练，而且CPU和GPU模式运行结果都是正常的。  
于是将台式机上换成了cuDNN5.1版本。  
重新编译Caffe后，再执行MNIST训练，正常！  
重新编译py-faster-rcnn/caffe-fast-rcnn后，demo.py，正常！

> 换成cuDNN5.1后编译py-faster-rcnn/caffe-fast-rcnn时，会有编译错误，  
> 解决方法参见我的上一篇博客：  
> [《使用cudnn5编译py-faster-rcnn错误：cudnn.hpp(126): error: argument of type “int” is incompatible …》][cudnn5_py-faster-rcnn_cudnn.hpp_126_ error_ argument of type _int_ is incompatible]

由此可以得出结论：  
cuDNN4与GTX1060显卡之间存在兼容性问题，升级之后的cuDNN5就没这问题了，所以如果你遇到类似的问题不妨换个cuDNN版本试试。  
唉，NVIDIA的产品兼容性实在是成问题啊，如果不是因为我有两台电脑而且显卡型号不同，可以有对比，我实在不知道该怎么从哪方面找原因。

[cudnn5_py-faster-rcnn_cudnn.hpp_126_ error_ argument of type _int_ is incompatible]: http://blog.csdn.net/10km/article/details/62418583