论文梳理（图像标注）

淩亂°似流年 2023-07-03 08:10 1阅读 0赞

自动图像标注总述：

> 是图像语义理解的热点，是 无标注图像内容的语义关键词  
> 属于图像检索领域，是图像 语义检索（相当成熟 ）关键  
> 涉及计算机视觉，机器学习，信息检索  
> 总实现思路：用（已标注图像集）或 关联，映射关系（可获信息 自动学习语义空间 与 视觉特征空间）。预测未知图像标注。

现实现方法：

> 基于分类的标注，概率关联标注，图学习的标注

相关的领域：

> 基于内容的 图像检索，瓶颈，巨大挑战（语义鸿沟：低层视觉特征，颜色 纹理形状 ，不能完全匹配 用户查询信息）  
> 基于语义的 图像检索，仍旧是 难题

应用：

> 网络搜索引擎：用户喜好关键词查询，互联网搜索引擎基于 文本的图像检索，人工标注费时费力  
> 个人桌面照片管理，互联网广告自动投放

--------------------

#### 题目：[自动图像标注技术 研究进展][Link 1] ####

搜索源：知网  
关键词：自动图像标注; 多示例学习; 多标记学习; 图学习; 概率建模;

##### 摘要 #####

自动图像标注（AIA）：是图像语义理解的热点，是无标注图像内容的语义关键词  
思想：用（已标注图像集）或 关联，映射关系（可获信息 自动学习语义空间 与 视觉特征空间）。预测未知图像标注。  
现实现的方法：基于分类的标注，概率关联标注，图学习的标注  
基于全局特征，基于区域划分

##### 0 引言 #####

基于内容的 图像检索，瓶颈，巨大挑战（语义鸿沟：低层视觉特征，颜色 纹理形状 ，不能完全匹配 用户查询信息）  
基于语义的 图像检索，仍旧是 难题  
为什么 出现了 AIA：用户喜好关键词查询，互联网搜索引擎基于 文本的图像检索，人工标注费时费力  
AIA：解决 语义鸿沟（高层语义，底层特征 间 联系）  
现有算法：在图像级别实现关键词标注， 未建立一一对应关系（图像和关键词 之间），  
标准方法：标注，区域命名  
不同角度分析标注：  
图像特征表示机制：图像全局视觉信息 ，基于区域划分

1.  图像全局视觉信息：面向图像场景 语义，图像特征，文本标注词完全分离，纯视觉比较图像相似性，有监督  
    已经标注 图像（图像特征，标注词间关系），标注（比较视觉特征，传播标注词）
2.  图像划分若干同 质区域，图像子块。基于区域划分（主流），图像语义标注。图像分割算法，有效划分语义对象单元。

本文 ：

> 基于全局特征，基于区域划分（根据特征提取，表示机制 的不同）  
> 其中，基于区域划分：分类的标注算法 ，概率关联模型的标注方法，基于图学习的标注方法（学习算法 不同 ）

##### 1 基于全局特征的自动图像标注方法 #####

早期：相当于图像场景的自动分类

> ova：面向 图像 场景语义（图像空间属性，产生现实场景有意义描述，验证 全局统计特征， 分析场景的对象存在与否），免去（图像分割）  
> 面向显著兴趣点：显著区域的 局部描述 子向量空间，通过相似图像传播语义实现自动标注  
> Yav sk：单纯用（图像全局特征）语义标注，建模框架（鲁棒的非参数密度估计法），核平滑技术–>用全局的 颜色信息可以标注性能。分割方法硬划分

优点：

> 免除过程（图像区域分割，区域聚类，三维注释，面向对象分析）  
> 适用：简单图形，背景单一（纹理图形，自然场景，建筑物图像）  
> 特点：只提供粗粒度语义描述，无前景物体和背景差异（人注重有语义信息的特定目标，非背景）

缺点：

> 因为粗粒度，不能反映丰富的细节语义内容，标注性能不理想

希望改进：

> 将图像前景目标区域，从背景中分割，想要对象级语义描述，减少背景变化的影响，更接近语义检索目标  
> 提取区域级的低层视觉特征，比全局特征更贴近实际理解，出现了基于区域划分的图像标准

##### 2 基于区域划分的自动图像标注方法 #####

基于区域划分：分割图像成若干区域（图像分割算法） --> 提取每个区域的低层视觉特征 --> 建立关联（图像区域和 标注词间，区域分块的标注算法不同：基于分类图像标注，概率关联模型的图像标注，基于图学习 ）

###### 2.1 基于分类的自动图像标注算法 ######

标注问题看成图像语义分类问题（每个语义关键词–看成–类别标记，图像标注问题 --转化–图像分类问题 ）：从图像分类角度解决标注问题。  
传统图像分类：每幅图像 只属于某个语义类别  
自动图像标注：

> 关键词角度 ：每幅图像可同时属于多个语义类别（标注有多个关键词），标注问题是多标记学习问题  
> 图像角度：整幅图看成多个 示例（区域）组成 的包，示例（没有概念标记），包（有概念标记），正包（包中正例>=1），反包（包中正例=0），给定的训练集上关键词只标注在整幅图像，未知对应关系（关键词和图像区域之间）

目前：分类标注（从示例学习的角度，或多标记学习 角度）标注 问题  
相同点：利用（已知的标注数据）建立模型，描绘 关联或映射 关系（文本词汇 图像特征间）

###### 2.2 基于概率关联模型的自动图像标注算法 ######

###### 2.3 基于图学习的自动图像标注算法 ######

##### 3 总结 #####

[Link 1]: https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFD&dbname=CJFD2011&filename=JSJA201107006&uid=WEEvREcwSlJHSldRa1FhcTdnTnhXS0ZyNkQ4RlJRZG8vNzUwV0k3U2hibz0=$9A4hF_YAuvQ5obgVAqNKPCYcEjKensW4IQMovwHtwkF4VYPoHbKxJw!!&v=MjQzMDU3RzRIOURNcUk5RllvUjhlWDFMdXhZUzdEaDFUM3FUcldNMUZyQ1VSN3FmWmVackZ5RGhVYjdNTHo3QmI=