精读Regularizing Reasons for Outfit Evaluation with Gradient Penalty

痛定思痛。 2022-11-25 13:30 114阅读 0赞

### 精读Regularizing Reasons for Outfit Evaluation with Gradient Penalty ###

*  1. 本文贡献介绍
 *  2. EVALUTAION3数据集
 *  3. 完成评估的网络框架
 *   *  3.1 特征提取阶段（feature extraction net）
     *  3.2 内联因素兼容性网络层（Intra-factor compatibility network）
     *  3.3 因素间兼容性网络（Inter-factor compatibility network）
 *  4. 对评估的原因分析
 *   *  4.1 CAM和Grad-CAM
     *  4.2 本文做法（单神经元贡献）
     *  4.3 单属性贡献
     *  4.4 normal与bad/good之间的区别
     *  4.5 reason strength
     *  4.6 损失函数
 *  5. 评估反馈生成
 *  6. 实验
 *   *  6.1 实验结果
     *  6.2 实验结果案例验证
     *  6.3 实验结果展示
 *  7. 本文个人总结

# 1. 本文贡献介绍 #

原文地址：[Regularizing Reasons for Outfit Evaluation with Gradient Penalty][]

> 1.  构建了一个EVALUTAION3数据集；
> 2.  能够对服装进行评价；
> 3.  能够生成对用户友好的反馈解释。

本文工作中，提出了一个服装评估系统，并且对任何服装的评估都存在对应的解释。并且通过添加一个**梯度惩罚正则项**，使得神经网络分析产生的**判断原因**与**专家标注的原因**保持一致。本文根据`good/bad`和`normal`对应服装之间的差异进行建模，并将原因作为正则化因子添加到损失函数当中，从而使得网络在不失去性能的前提下，还具有可解释性。并且基于构造的`EVALUTAION3`数据集进行了详细的实验，证明了本文方法的有效性。

--------------------

# 2. EVALUTAION3数据集 #

数据集来源：Polyvore dataset  
数据集划分：`train set`, `validation set`, `test set`, `and test-random-set`

基于专家的角度，将服装进行分类为三个层次：

*  Bad：服装中存在元素不搭调（比如：错误颜色匹配，印花图案很刺眼等）；
 *  Normal：视觉上没什么特殊也没什么不协调；
 *  Good：存在某些特殊设计（比如：吸引人的颜色搭配、特殊图案等）

**注意：** 即便是有特殊的亮点，但是因为某些因素搭配不合适，那也认为是bad。

![在这里插入图片描述][20200809212556597.png]

**本文规则：** 每一套服装图片都包含：一件上衣，一件下衣。  
这个数据集分别代表了训练集、验证集、测试集、以及测试随机集，下表为它们的占比。  
![在这里插入图片描述][20200809212814358.png_x-oss-process_image]  
**test-random-set：** 根据`test set` 的3000个数据集，将上身和下身随机搭配形成的3000套服装数据集。

此外，对每一件item都进行了属性标注：  
![在这里插入图片描述][20200809220904251.png_x-oss-process_image]

--------------------

# 3. 完成评估的网络框架 #

内部网络框架图如下所示  
![在这里插入图片描述][20200809221042964.png_x-oss-process_image]  
本文将该网络框架共分为3个stage：`feature extraction net`、`intra-factor compatibility net`、`inter-factor compatibility net`.

## 3.1 特征提取阶段（feature extraction net） ##

第一层是一个服装特征提取网络层，使用的是模型预训练的网络`ResNet-18`，分别得出每一件单品的五种属性：

*  print、material、silhouette（轮廓）、design。
 *  通过Fashion Color system (FOCO)绘制单品颜色分布的直方图，然后选取前五种主要色调作为该单品的color feature（25维）  
    ![在这里插入图片描述][20200809222457634.png_x-oss-process_image]

## 3.2 内联因素兼容性网络层（Intra-factor compatibility network） ##

第二层是一个`内联因素兼容性网络层`  
如下图所示，这里拿color作为举例说明：

*  输入：上身的颜色特征、下身的颜色特征
 *  三层的全连接层
 *  作用：将上身颜色特征和下身深颜色特征输入到第二层网络当中，该网络主要是学习上身和下身，在颜色特征进行交互之后的的结果因子。

**每一种属性都是在各自的全连接层中训练得到对应的`内联因素兼容性因子`，该因子的含义可以理解为上衣和下身在这种属性角度上看，的一个兼容程度。**  
![在这里插入图片描述][20200809224441383.png_x-oss-process_image]

## 3.3 因素间兼容性网络（Inter-factor compatibility network） ##

第三次是因素间兼容性网络。  
将第二层得到的五种属性对应的兼容性因子，进行合并，然后输入到一个3层的全连接层当中，得到一个的分类结果（本文结果为3种）。  
**输出：** 该服装被评估为bad、normal、good的概率。

![在这里插入图片描述][20200809225911206.png_x-oss-process_image]  
到这里模型属性预测的过程已经基本上了解完毕，但是本文主要还是希望能够找到做出这种判断的**原因**。  
即**可解释性分析**。

--------------------

# 4. 对评估的原因分析 #

这一节主要是讲解做出如上预测的原因，因为如果能够得到正确的原因，我们才能更好的了解整个模型到底学习到了什么细节。

我建议这部分读这个大佬的文章理解下啥是CAM和Grad-CAM。[CAM和Grad-CAM][CAM_Grad-CAM]）

## 4.1 CAM和Grad-CAM ##

主要是用来查看**哪些输入部分**对结果做出的**贡献最大**。

![在这里插入图片描述][20200809232826904.png_x-oss-process_image]  
GAP更充分的利用了空间信息，且没有了全连接层的各种参数，鲁棒性强，也不容易产生过拟合；还有很重要的一点是，在最后的 卷积层强制生成了和目标类别数量一致的特征图。

![在这里插入图片描述][20200809233447367.png_x-oss-process_image]  
将每一个特征图分别与其各自对应的权重相乘，并相加，得到该图像的一个热力图。  
![在这里插入图片描述][20200809233528533.png]  
![在这里插入图片描述][2020080923350124.png_x-oss-process_image]

**本文重点并不是关注热力图，而是希望关注到人类可解释的因素完成分析。**

## 4.2 本文做法（单神经元贡献） ##

如下图所示，图表示`第三层合成兼容性因子`进行最终服装评价预测的过程。  
我们先只关注color这一个属性特征，该特征由很多个Neuron组成\{  X 1 X\_1 X1、 X 2 X\_2 X2… X n − 1 X\_\{n-1\} Xn−1、 X n X\_n Xn\},。  
![在这里插入图片描述][20200809233932188.png_x-oss-process_image]  
每一个神经元都会对最终做出的判断产生一个贡献值，比如color的第一个神经元 X 1 X\_1 X1对做出bad结果产生的贡献值可以按照如下公式计算：  
![在这里插入图片描述][20200810093632484.png]

*  j 表示三种分类结果\{bad，normal，good\}
 *   y j y\_j yj 表示 最终得到结果 j j j的概率
 *   x i x\_i xi 表示 一个神经元

**ReLU的原因：** 因为只关心对类别  j j j 有正影响的那些像素点，如果不加ReLU层，最终可能会带入一些属于其它类别的像素，从而影响解释的效果。

## 4.3 单属性贡献 ##

本图和上一致  
![在这里插入图片描述][20200810094917329.png_x-oss-process_image]  
将该属性所有相关的神经元做出的贡献度求取平均得到：`单属性对最终结果的贡献`。  
如下公式：

*   \+ + \+号表示正贡献
 *   j j j 表示\{bad，normal，good\}的一种情况
 *   r r r 表示\{color，print，design\}的一个元素；
 *   I r I\_r Ir表示该属性r所包含的神经元个数

注意：r中只能包含三种元素，是因为作者将`silhouettes`，`design details`，`materials`统称为`design`看待。  
![在这里插入图片描述][2020081009553178.png]

所以， c o n t r i b j + ( r ) contrib^+\_j(r) contribj\+(r)表示特征r对最终所做`judgement`的正贡献。

## 4.4 normal与bad/good之间的区别 ##

因为任何事物的好与坏都是相对图正常而言进行评价的，服装评估也是如此。

也就是说：good肯定是因为某一个亮点，使得该衣服比普通衣服更加突出，从而被专家评定为good。

根据该假说，所以可以提出如下公式：  
![在这里插入图片描述][20200810104139508.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzQ0MTI1_size_16_color_FFFFFF_t_70]

这表示：先对各个特征维度的正贡献进行求差运算，然后求出最大的那个差值。

可以认为good和normal之间不同之处，即为最大差值对应的特征属性。（因为该特征属性是good相比normal的一个**亮点** ，好好体会…）

bad方面亦是如此

## 4.5 reason strength ##

这一小节其实就是计算每一种特征属性对应的原因强度，如何理解呢？  
直接截原文吧，更好解释。  
首先， 1 j g t ( j ) 1\_\{j^\{gt\}\}(j) 1jgt(j)是一个指示函数，它的值仅为1或0；

*  当系统评估结果和之前专家标注的判断结果**是一致**的，那么就为1
 *  当系统评估结果和之前专家标注的判断结果**不一致**的，为0

![在这里插入图片描述][20200810110105474.png_x-oss-process_image]  
具体为什么这么设计呢？展开该公式可以得到  
假设判断为good、专家也评定为good，则原式：  
 1 g o o d ( g o o d ) ⋅ c o n t r i b g o o d + ( r ) + 1 n o r m a l ( n o r m a l ) ⋅ c o n t r i b n o r m a l + ( r ) + 1 b a d ( b a d ) ⋅ c o n t r i b b a d + ( r ) − c o n t i b n o r m a l + ( r ) 1\_\{good\}(good)\\cdot contrib^+\_\{good\}(r) + 1\_\{normal\}(normal)\\cdot contrib^+\_\{normal\}(r) + 1\_\{bad\}(bad)\\cdot contrib^+\_\{bad\}(r) -contib^+\_\{normal\}(r) 1good(good)⋅contribgood\+(r)\+1normal(normal)⋅contribnormal\+(r)\+1bad(bad)⋅contribbad\+(r)−contibnormal\+(r)

= 1 ⋅ c o n t r i b g o o d + ( r ) + 0 ⋅ c o n t r i b n o r m a l + ( r ) + 0 ⋅ c o n t r i b b a d + ( r ) − c o n t i b n o r m a l + ( r ) =1\\cdot contrib^+\_\{good\}(r) + 0\\cdot contrib^+\_\{normal\}(r) + 0\\cdot contrib^+\_\{bad\}(r) -contib^+\_\{normal\}(r) =1⋅contribgood\+(r)\+0⋅contribnormal\+(r)\+0⋅contribbad\+(r)−contibnormal\+(r)

= c o n t r i b g o o d + ( r ) − c o n t i b n o r m a l + ( r ) =contrib^+\_\{good\}(r)-contib^+\_\{normal\}(r) =contribgood\+(r)−contibnormal\+(r)

当r为`color`时，上式就为

= c o n t r i b g o o d + ( c o l o r ) − c o n t i b n o r m a l + ( c o l o r ) =contrib^+\_\{good\}(color)-contib^+\_\{normal\}(color) =contribgood\+(color)−contibnormal\+(color)

这实际上就是计算得到color特征在系统最终最初good的评估结果时，所依靠的原因强度。

**打个比方：** 我买电脑有很多种原因：写代码、看电视、打游戏、写文档等等都是原因，但是这些原因都是有强弱关系导致我做出最终购买电脑的决定。

**而在本文最终的 r g o o d r^\{good\} rgood就代表了我做出该判断的原因强度。**

## 4.6 损失函数 ##

本文共提出了3中损失函数，分别为交叉熵、线性、平方差三种常见类型。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzQ0MTI1_size_16_color_FFFFFF_t_70 1]  
但是这里的损失函数有点类似正则化中的  l 1 l1 l1 范式和  l 2 l2 l2 范式（有木有= =！）

最终整个模型的损失函数由两部分构成：

*  对服装的评估结果进行预测产生的损失
 *  对评估的原因进行预测产生的损失

![在这里插入图片描述][20200810143151524.png]

--------------------

# 5. 评估反馈生成 #

文中指出**反馈是根据结合了专家的知识而生成**的，但在论文中给的图大致流程实际上就是**套用了模板**，将**关键词进行替换**得到最终评估原因反馈。  
![在这里插入图片描述][20200810135744653.png_x-oss-process_image]  
比如输入一套衣服，之后大概步骤如下：

1.  得出上衣的五种属性值，以及下身的五种属性值；
2.  得出判断结果和对应的依据原因；
3.  根据评估原因进入不同的决策分支，评估结果为三种，所以有3种不同的分支；
4.  进入对应结果分支后，根据判断依据原因，选择对应的模板语句；
5.  将上身和下身对应的属性填入模板，即得到最终的反馈语句。

拿本案例作为解释：

1.  这里案例评估为`bad`,原因为`print`；
2.  根据结果为`bad`进入对应决策分支；
3.  根据原因`reason`选择对应模板语句  
    \- The **xxx** print top and the **xxx** print is wrong color matching.
4.  根据上衣和下身对应属性进行填充，得到如下反馈语句：  
    \- The **floral** print top and the **floral** print is wrong color matching.

--------------------

# 6. 实验 #

## 6.1 实验结果 ##

首先搞清楚评价指标：

*  judgment accuracy（评估结果预测准确率）
 *  reason accuracy（依据原因预测准确率）

如下图所示，表示实验结果

**第一列：** 为各种模型第一行和第二行为其他论文中的模型，第三行为本文文中只考虑判断损失而不考虑原因预测损失的模型，之后三行就分别表示原因预测使用的是几种损失函数情况。  
![在这里插入图片描述][20200810142111927.png_x-oss-process_image]  
最终得到的结果可以得出：  
**含有惩罚项损失且基于交叉熵作为损失计算的方法，模型效果最优（最后一行）。**

--------------------

## 6.2 实验结果案例验证 ##

如下图所示  
![在这里插入图片描述][20200810143655862.png_x-oss-process_image]

第一行，全部表示专家标注认为good，且系统评估也是good的服装案例。  
拿第一个单品做解释：

--------------------

**good/good resaon：color**

*  第一个good表示专家标注该种服装搭配为good
 *  第二个good表示本系统评估结果认为该种服装搭配为good
 *  resaon -> color： 表示专家评估为good的原因是因为这套服装的颜色是亮点。

--------------------

**C(0.108, 0.133, 0.039)**

*  c：表示使用公式C计算而得出的三种属性特征（color、print、design）对最终产生该判断所做出的影响。  
    ![在这里插入图片描述][20200810145212845.png]
 *  0.108：表示`color`对最终产生good该判断所做出的贡献值（影响分）
 *  0.133：表示`print`对最终产生good该判断所做出的贡献值（影响分）
 *  0.039：表示`design`对最终产生good该判断所做出的贡献值（影响分）

--------------------

**G:（0.647，0.098，0.045）**

*  G：表示使用公式G计算而得出的三种属性特征（color、print、design）对最终产生该判断所做出的影响。  
    ![在这里插入图片描述][20200810145920763.png]
 *  0.647：表示`color`对最终产生good该判断的原因强度
 *  0.098：表示`print`对最终产生good该判断的原因强度
 *  0.045：表示`design`对最终产生good该判断的原因强度

介绍完了含义，该看看具体有什么用了。  
看C那一行中棕色高亮为第二个数值，表明使用C公式计算的贡献影响值`print`最大，也即是说根据这种贡献计算方式，得出系统评估为good的原因为`print`；这与专家做出的判断原因（`color`）相悖。也就是不一致。

但是看G那一行中绿色高亮部分，对应的为`color`属性，也就是说：系统按照这种计算方式，可以得知系统做出最后判断的原因为`color`, 这与专家的推断原因是一致的，也就是说，模型学习真正有学习到，**并且做出的结果判断是有凭据的**。

吼吼！！！可解释性分析的魅力来啦…

## 6.3 实验结果展示 ##

如下图为最终结果的展示

比如第一行：

*  判断结果为`good`
 *  判断依据原因为`Print`
 *  根据原因选择对应`Print`属性值，根据解释模板，生成最终的反馈。  
    ![在这里插入图片描述][20200810150934687.png_x-oss-process_image]

# 7. 本文个人总结 #

对以上部分进行整体总结，以后也好回顾回顾这篇文章的内容。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzQ0MTI1_size_16_color_FFFFFF_t_70 2]

**（1）构造了一个数据集**  
该数据是名为`Polyvore dataset`的开源数据集，然后请了一些服装时尚搭配领域的专家打标注，对每一套服装进行了(bad，normal，good)三种评价，并且对每种评价做出了评估原因的标注。

**（2）服装评价系统的搭建**

下图为关键网络架构，主要是整个模型将数据集转化为最终分类结果的架构图。  
![在这里插入图片描述][20200810164542780.png_x-oss-process_image]

<table> 
 <thead> 
  <tr> 
   <th>传统做法</th> 
   <th>本文做法</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>对已经训练完的模型进行可解释性分析</td> 
   <td>将模型的解释一通投入到模型当中训练，使得最终的解释不断修正</td> 
  </tr> 
 </tbody> 
</table>

**提出：** 将最终决策原因作为损失函数的正则惩罚项，使得网络在不失去性能的前提下，还具有可解释性。

**（3）生成判断反馈**  
本文还使用了专家给定的文本模板，对所进行的判断，提供可解释的、用户体验友好的反馈。

**（4）进行了比较详细的实验**  
通过自己所构建的`EVALUTAION3`数据集，使用了6种不同情况，进行结果测试，最终得出采用本文方法（添加了原因作为正则化因子，交叉熵为损失函数）效果表现得最优。

--------------------

**AIFashion ，GO，Go，Go！**

[Regularizing Reasons for Outfit Evaluation with Gradient Penalty]: https://arxiv.org/abs/2002.00460
[20200809212556597.png]: /images/20221124/8b721449d7394c5fa37a2b593cf6ce4f.png
[20200809212814358.png_x-oss-process_image]: /images/20221124/71d49f24645d4233ac5ab671573230aa.png
[20200809220904251.png_x-oss-process_image]: /images/20221124/d2b2f49930bd498186fb754bac22190a.png
[20200809221042964.png_x-oss-process_image]: /images/20221124/065d2f3aa30748aca35c31b22cac084f.png
[20200809222457634.png_x-oss-process_image]: /images/20221124/38c283cd83d24b5cb0ba28f5443a3769.png
[20200809224441383.png_x-oss-process_image]: /images/20221124/b7e61845e073402aa2e54e0b3fff89b5.png
[20200809225911206.png_x-oss-process_image]: /images/20221124/426c9852ee0f42e1b6b0a930ec21eebe.png
[CAM_Grad-CAM]: https://bindog.github.io/blog/2018/02/10/model-explanation/
[20200809232826904.png_x-oss-process_image]: /images/20221124/3481d9b216a3459493180bd58d08866c.png
[20200809233447367.png_x-oss-process_image]: /images/20221124/b3af7c6d480247488cf4bd8746f88ca0.png
[20200809233528533.png]: /images/20221124/01b72279fcde48ef803c5a122840012d.png
[2020080923350124.png_x-oss-process_image]: /images/20221124/c4fcbec2ad9a470695057229e8d6219a.png
[20200809233932188.png_x-oss-process_image]: /images/20221124/d3e323e2453942ce8a568d9aad00acc4.png
[20200810093632484.png]: /images/20221124/b4447996f420463ab743caf4168c4fe2.png
[20200810094917329.png_x-oss-process_image]: /images/20221124/55fd24f40ccf4d0fbcac5cebd536fd3d.png
[2020081009553178.png]: /images/20221124/6ea3fbe17c7541c9a776fc8c40e0155b.png
[20200810104139508.png]: /images/20221124/332055847aea4d1b9e2d3f2c03f9deec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzQ0MTI1_size_16_color_FFFFFF_t_70]: /images/20221124/8762c084f1c241848764a032dec89c89.png
[20200810110105474.png_x-oss-process_image]: /images/20221124/f223fecac9b942f384aa7f2e4b3aaa66.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzQ0MTI1_size_16_color_FFFFFF_t_70 1]: /images/20221124/0624216028b54ce8bc81ebd3bd422eb5.png
[20200810143151524.png]: /images/20221124/42b5f271f926414fa03f7af3e5887274.png
[20200810135744653.png_x-oss-process_image]: /images/20221124/392b73e91565422ca4d674c868f8c966.png
[20200810142111927.png_x-oss-process_image]: /images/20221124/211482805a3e4dbe8fae127ef8f1d27a.png
[20200810143655862.png_x-oss-process_image]: /images/20221124/7e7b7e9b29fb4d01bffec4a5f30eecf6.png
[20200810145212845.png]: /images/20221124/c4b0b17b155b4798b79994e2f8234b21.png
[20200810145920763.png]: /images/20221124/40e6f6fcb98042a8bd2d821708d0deed.png
[20200810150934687.png_x-oss-process_image]: /images/20221124/171591fb3c1643e78812bcaab61f571a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MzQ0MTI1_size_16_color_FFFFFF_t_70 2]: /images/20221124/d182a9de42f44f1eaa27dbd19d6413ff.png
[20200810164542780.png_x-oss-process_image]: /images/20221124/88f5507edc08419f8050d6581560b755.png