图片描述(image cpationing) 源码实现——让计算机用简短的句子描述一张图片

短命女 2022-05-30 09:09 106阅读 0赞

# 自动生成图片描述：NeuralTalk2 #

## 一、基本信息 ##

NeuralTalk2是斯坦福计算机视觉人工智能实验室的一个项目，利用循环神经网络（RNN）和卷积神经网络（CNN）来描述图片内容，NeuralTalk2 比第一版训练速度更快（使用了GPU），并且具有更好的性能表现。  
本篇博客注重该项目的源码实现部分，论文解读部分后续会上传。下面是该项目是一些资源连接

**官网**  
[http://cs.stanford.edu/people/karpathy/deepimagesent/][http_cs.stanford.edu_people_karpathy_deepimagesent]  
**论文**  
[Deep Visual-Semantic Alignments for Generating Image Descriptions][]  
**Github源码**  
[https://github.com/karpathy/neuraltalk2][https_github.com_karpathy_neuraltalk2]

## 二、源码实现 ##

### 1.环境及配置要求（建议） ###

*  Linux系统（我用的是Ubuntu 16.04-LTS）
 *  GPU图形处理器（我的是GTX-980Ti，如果没有，也可以运行cpu版代码）
 *  python（2或3都可以，我用的是3）
 *  CUDA和cuDNN\_v5.1（如果是其他版本的，可以看后文的cudnn多版本共存部分）
 *  …（剩余环境依赖在后面需要用到的时候慢慢装）

### 2.安装依赖和各种包 ###

由于测试代码部分由lua脚本语言写成，所以我们需要安装Torch，在Ubuntu下，利用如下指令完成**Torch的安装**

$ curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash
    $ git clone https://github.com/torch/distro.git ~/torch --recursive
    $ cd ~/torch; 
    $ ./install.sh      # and enter "yes" at the end to modify your bashrc
    $ source ~/.bashrc  #如果你用的是zsh，就输入source ~/.zshrc，ubuntu默认为bash

想要了解有关Torch的跟多信息，可以点击[http://torch.ch/][http_torch.ch]查看相应安装文档。  
Torch安装好以后会自带**LuaRocks**，我们需要用它来安装一些必要的包：

$ luarocks install nn
    $ luarocks install nngraph 
    $ luarocks install image

接着，因为我们要加载和保存json文件，所以我们还需要**cjson库**，安装方法如下

$ git clone https://github.com/mpx/lua-cjson.git
    $ cd lua-cjson
    $ luarocks make

其他安装方法可以查看官方安装文档：[https://www.kyne.com.au/%7Emark/software/lua-cjson-manual.html][https_www.kyne.com.au_7Emark_software_lua-cjson-manual.html]

由于NeuralTalk2默认是采用GPU实现的，所以必须确保你的系统上已经正确安装了对应**GPU的NVIDIA驱动，以及CUDA开发者工具包和cuDNN（**建议版本CUDA7.5或CUDA8、cuDNNv5.1，**安装方法可以看这篇文章的CUDA安装部分**：[http://blog.csdn.net/ksws0292756/article/details/79179286][http_blog.csdn.net_ksws0292756_article_details_79179286]）  
注意，如果你之前已经安装了NVIDIA和CUDA，但是你的cuDNN版本不是v5.1，而是更高版本时（我预装版本是v6.0），就需要再去下载cuDNNv5.1，下载地址是：[https://developer.nvidia.com/rdp/cudnn-download\#a-collapseTwo][https_developer.nvidia.com_rdp_cudnn-download_a-collapseTwo]（下载需要登录nvidia帐号）  
下载好以后，有两种方法，一种是删掉原先的cuDNN版本，重新安装cuDNNv5.1版本，另一种是添加新的环境变量，使两种版本共存，操作如下：

方法一：删除原来版本

$ sudo rm -f /usr/local/cuda/lib64/libcudnn* #强制删除libcudnn相关文件
    $ sudo rm -f /usr/local/cuda/include/cudnn.h #/强制删除cudnn头文件
    #注意，上面的两处删除路径是cuda的默认路径，具体删除时根据你自己的路径来删除
    
    $ cd /Downloads/cuda #将下载的cuDNN解压，得到名为cuda的文件夹，进入
    #添加cudnn到cudn库
    $ sudo cp include/cudnn.h /usr/local/cuda/include/
    $ sudo cp lib64/libcudnn* /usr/local/cuda/lib64/
    #修改添加到cuda库的cudnn权限
    $ sudo chmod a+r /usr/local/cuda/include/cudnn.h 
    $ sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

方法二：与原来版本共存

#分别在lib64和include文件夹下面建立一个空文件夹，假设取名cudnn_v5.1
    $ cd /usr/local/cuda/lib64
    $ sudo mkdir cudnn_v5.1
    $ cd /usr/local/cuda/include
    $ sudo mkdir cudnn_v5.1
    
    #然后进入到cudnn_v5.1解压出的cuda文件夹内，将相关库文件拷贝至刚才创建的文件夹
    #添加cudnn到cudn库
    $ sudo cp include/cudnn.h /usr/local/cuda/include/cudnn_v5.1
    $ sudo cp lib64/libcudnn* /usr/local/cuda/lib64/cudnn_v5.1
    #修改添加到cuda库的cudnn权限
    $ sudo chmod a+r /usr/local/cuda/include/cudnn.h 
    $ sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

接着，打开bashrc文件，添加环境变量

$ gedit ~/.bashrc # 如果你用的是zsh，就改成~/.zshrc

在文件中加上下面一行

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-8.0/lib64/cudnn_v5.1

![这里写图片描述][70]

安装完驱动和CUDA工具包等以后，再安装下面的**cutorch包和cunn包**：

$ luarocks install cutorch
    $ luarocks install cunn

接着，安装[cudnn.torch][]，在安装cudnn.torch之前，先确认你的电脑已经进行了如下配置

*  安装了v5.1版本的cuDNN
 *  安装了7.0以上版本的CUDA
 *  将放到了环境变量所包含的路径当中($LD\_LIBRARY\_PATH) ，具体方法参见安装cuDNN的教程

然后，输入下面的指令建立Torch链接：

$ git clone https://github.com/soumith/cudnn.torch.git
    $ cd cudnn.torch
    $ luarocks make cudnn-scm-1.rockspec

为了能够训练你自己的模型，你还需要安装[loadcaffe][]：

$ sudo apt-get install libprotobuf-dev protobuf-compiler
    $ CC=gcc-5 CXX=g++-5 luarocks install loadcaffe 
    #如果你的系统不是Ubuntu16.04，则只需要luarocks install loadcaffe即可

由于需要使用hdf5文件来存储预处理数据，所以还需要安装**torch-hdf5 和 h5py**,  
安装[torch-hdf5][]

$ sudo apt-get install libhdf5-serial-dev hdf5-tools
    $ git clone https://github.com/deepmind/torch-hdf5
    $ cd torch-hdf5
    $ luarocks make hdf5-0-0.rockspec LIBHDF5_LIBDIR="/usr/lib/x86_64-linux-gnu/"

安装[h5py][]  
对于Anaconda/MiniConda，可以使用

$ conda install h5py

对于Canopy，可以使用

$ enpkg h5py

也可以使用pip安装

$ pip install h5py

以上就安装完了所有的依赖，如果在上面的安装步骤中都没有出错的话，基本上就可以将代码成功的跑起来了（作者吐槽：依赖确实很多，但是这也是没办法的事情）

### 3.测试运行 ###

为了能快速看到代码运行的结果，我们这里就直接使用作者已经训练好的模型（如果自己训练，大概需要2～3天的时间），点击下面的链接下载：cs.stanford.edu/people/karpathy/neuraltalk2/checkpoint\_v1.zip  
下载好以后，解压到neuraltalk2项目文件夹里面（也可以解压到别处，只是解压到这里比较方便），然后，运行下面的指令：

$ th eval.lua -model /path/to/model -image_folder /path/to/image/directory -num_images 10

这里`-model`后面的路径代表模型路径（可以是相对路径，也可以是绝对路径），`-image_folder`后面的路径是你想要测试的图片的文件夹路径，`-image_folder`后面的数字代表图片的数量，如果想要测试所有图片，就输入-1

具体用法如下：

$ cd ~/Works/NeuralTalk2/neuraltalk2 #进入到neuraltalk2项目文件夹，具体路径看你自己的存放位置
    $ th eval.lua -model model_id1-501-1448236541.t7 -image_folder ~/Works/NeuralTalk2/pics -num_images 4
    $ python -m http.server #如果你使用的是python2，则用`python -m SimpleHTTPServer`指令启动服务器

最后，在你的浏览器中访问`localhost:8000`就可以看到程序的运行结果啦，下面是我的运行结果：  
![这里写图片描述][70 1]

如果你想训练自己的神经网络模型，可以参考github源码上面的介绍，在这里就不多说明了。

[http_cs.stanford.edu_people_karpathy_deepimagesent]: http://cs.stanford.edu/people/karpathy/deepimagesent/
[Deep Visual-Semantic Alignments for Generating Image Descriptions]: https://arxiv.org/abs/1412.2306
[https_github.com_karpathy_neuraltalk2]: https://github.com/karpathy/neuraltalk2
[http_torch.ch]: http://torch.ch/
[https_www.kyne.com.au_7Emark_software_lua-cjson-manual.html]: https://www.kyne.com.au/%7Emark/software/lua-cjson-manual.html
[http_blog.csdn.net_ksws0292756_article_details_79179286]: http://blog.csdn.net/ksws0292756/article/details/79179286
[https_developer.nvidia.com_rdp_cudnn-download_a-collapseTwo]: https://developer.nvidia.com/rdp/cudnn-download#a-collapseTwo
[70]: /images/20220530/6c8d934fb3d64dd9ac063c8741288043.png
[cudnn.torch]: https://github.com/soumith/cudnn.torch
[loadcaffe]: https://github.com/szagoruyko/loadcaffe
[torch-hdf5]: https://github.com/deepmind/torch-hdf5/blob/master/doc/usage.md
[h5py]: http://docs.h5py.org/en/latest/build.html
[70 1]: /images/20220530/f17f38e314c143e983cd96d46b721498.png