论文梳理（image caption）

╰半橙微兮° 2023-07-07 03:51 14阅读 0赞

论文四遍法：  
第一遍： 只 标题，摘要（讲什么），图表  
第二遍：看 主要思想（前言，结语，图表），不看（相关研究）  
第三遍：看（纵览论文主体，整体脉络框架），不看（数学推导 ）  
第四遍：所有

--------------------

#### 题目：[融合卷积注意力机制的图像描述生成模型][Link 1] ####

搜索源：知网，核心  
搜索词：关键词（图像描述; 卷积神经网络; 自然语言处理; 长短期记忆神经网络; 卷积注意力机制）

#### 第一遍：摘要，图表 ####

##### 摘要 #####

1.  问题：CNN+RNN 提取关键信息 精度不高，训练速度慢
2.  改进（总）：卷积注意力机制，LSTM
3.  改进（具体）：
    
    > 1.  特征提取：inception-ResNet-V2
    > 2.  全卷积 代替 全连接，减少 模型参数数量
    > 3.  图像文本特征融合 - 输入 LSTM 训练 - 得描述
4.  数据集：MSCOCO
5.  评价指标：BLEU - 1，BLEU-4，METEOR，CIDEr
6.  结论：优于 传统注意力机制

--------------------

#### 题目：Show and Tell: A Neural Image Caption Generator 2015 ####

改进角度：LSTM  
CNN + LSTM

--------------------

#### 题目：Show, Attend and Tell: Neural Image Caption Generation with Visual Attention 2016 ####

改进角度：LSTM  
提出 注意力机制，soft-attention，hard-attention  
每个单词对应图像某一区域，不管单词对应的图像是否有意义  
仅将图像抽象成单一特征 ，没考虑图像空间特性  
CNN（浅层特征）+ LSTM

--------------------

#### 题目：Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning 2017 ####

改进角度：LSTM  
提出 Sentinel哨兵机制  
生成单词时，计算与图像的关联性多大，即 视觉单词 or 内容单词，再根据权重计算总体特征

--------------------

#### 题目：SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning 2017 ####

改进角度：CNN  
分析CNN特性：空间性，多通道，多层级

--------------------

#### 题目：Self-critical Sequence Training for Image Captioning 2017 ####

改进角度：强化学习  
之前问题：

1.  exposure bias：测试时，生成单词 依赖 前面已生成的单词，会误差累积
2.  模型训练使用 交叉熵损失，评估时用既定的metrics。训练和评估结果不匹配

本文：  
用metrics做损失 训练模型

--------------------

#### 题目：Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering 2018 ####

改进角度：目标检测  
目标检测获取空间特征好处：实现实体目标水平的注意力计算，目标信息更具体  
目标检测（faster R-CNN） + attention机制

自上而下，自下而上相结合的注意力机制  
下 —>上 的 注意力模型：Faster R-CNN，提取图像兴趣区域，获取对象特征  
上 —>下 的 注意力模型：学习特征对应的权重，LSTM

R-CNN：获取兴趣区域，对每个兴趣区域应用目标检测器，获得图像类别  
CNN：输入 整个图像，用于大样本分类网络复杂，计算量大  
Faster R-CNN：是对前几代 R-CNN的方法改进，输入一次，识别所有对象，效率高

之前文章的 注意力机制：top-down 的全局搜索  
注意力作用的图像特征：CNN生成，特征区域大小相等  
注意力作用的语义概念：用每个视觉特征 加权求和

计算机视觉三大主要任务：分类，检测，分割  
目标检测难点：定位框 的确定（是回归问题，但是回归难收敛，计算量大）  
传统目标检测方法：Haar特征+Adaboost算法，Hog特征+Svm算法，DPM算法（基本淘汰了）  
深度学习目标检测：RCNN系列，YOLO系列和SSD系列

--------------------

#### 题目：Neural Baby Talk 2018 ####

改进角度：目标检测，借鉴 baby talk 论文模板思想  
生成空缺模板句 + 目标检测填空缺  
text word：数据集 词汇  
visual word：检测词汇

--------------------

[Link 1]: https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFDAUTO&filename=JSJY202001006&uid=WEEvREcwSlJHSldRa1FhdkJtNEYxWS9taTlsK1kxOHNoWnhlNmQwSGpJMD0=$9A4hF_YAuvQ5obgVAqNKPCYcEjKensW4ggI8Fm4gTkoUKaID8j8gFw!!&v=MTUyMTJUM3FUcldNMUZyQ1VSN3FmWmVSdkZ5RG5XcjdCTHo3QmQ3RzRITkhNcm85RllvUjhlWDFMdXhZUzdEaDE=