【模型详解】AutoEncoder详解（六）——Contractive AutoEncoder

傷城~ 2022-04-14 20:59 280阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JvZ3Vlc2ly_size_16_color_FFFFFF_t_70]  
paper:

### 摘要 ###

本文提出了一种新的AE模型，能够更有效地获得鲁棒特征

### 介绍 ###

### 如何提取鲁棒特征 ###

Jacobian矩阵是多维  f ( x ) f(x) f(x) 的一阶偏导，表示形式如下：  
 (1) ∣ ∣ J f ( x ) ∣ ∣ F 2 = ∑ i j ( ∂ h j ( x ) ∂ x i ) 2 ||J\_f(x)||^2\_F=\\sum\_\{ij\}(\\frac\{\\partial h\_j(x)\}\{\\partial x\_i\})^2 \\tag\{1\} ∣∣Jf(x)∣∣F2=ij∑(∂xi∂hj(x))2(1)  
罚项 ∣ ∣ J f ( x ) ∣ ∣ F 2 ||J\_f(x)||^2\_F ∣∣Jf(x)∣∣F2 可以将特征空间收缩到训练数据更小的范围，这使得模型获得更好的不变性和鲁棒性。

### AutoEncoder变种 ###

AutoEncoder包括两个部分：encoder和decoder，起初AE模型的设计是为了实现数据降维，当encoder生成的code维度小于input维度时，就实现了降维的目标，此时的AE称为欠完备自编码器，反之，当code大于input维度时，称为过完备自编码器，在之前的博客中已经介绍，不做赘述。

#### 基础的AutoEncoder结构 ####

encoder过程将input映射到隐藏表征层，可以表示为：  
 (2) h = f ( x ) = s f ( W x + b h ) h=f(x)=s\_f(Wx+b\_h) \\tag\{2\} h=f(x)=sf(Wx\+bh)(2) 其中， s f s\_f sf 是非线性激活函数，常规的像sigmoid函数，权重矩阵 W W W 的维度为 d h ∗ d x d\_h\*d\_x dh∗dx，偏置向量 b h ∈ R d n b\_h \\in R^\{d\_n\} bh∈Rdn。  
decoder过程使用隐层输出重建生成 y y y，表示如下：  
 (3) y = g ( h ) = s g ( W ′ h + b y ) y=g(h)=s\_g(W&\#x27;h+b\_y) \\tag\{3\} y=g(h)=sg(W′h\+by)(3) 其中， s g s\_g sg 是decoder的激活函数，可以是sigmoid函数。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JvZ3Vlc2ly_size_16_color_FFFFFF_t_70]: /images/20220415/6e834c9df6594daeaad4c8faf7b8d6c4.png