CycleGAN

朱雀 2022-01-05 18:59 276阅读 0赞

*  Cycle-GAN
    
     *  方法
        
         *  损失
     *  评估
        
         *  AMT
         *  FCN
         *  Semantic segmentation metrics

# Cycle-GAN #

> [Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks][] [paper][]

![main][]

## 方法 ##

![cyclegan][]

### 损失 ###

#### 对抗损失 Adversarial loss ####

\\(\\mathcal\{L\}\_\{GAN\}(G,D\_Y,X,Y)=\\mathbb\{E\}\_\{y \\backsim p\_\{data\}(y)\}\[\\log D\_Y(y)\] +\\mathbb\{E\}\_\{x \\backsim p\_\{data\}(x)\}\[\\log(1-D\_Y(G(x)))\]\\)

#### 循环一致性损失 Cycle Consistency Loss ####

\\(\\mathcal\{L\}\_\{cyc\}(G,F)= \\mathbb\{E\}\_\{x \\backsim p\_\{data\}(x)\}\[\\|F(G(x))-x\\|\_1\] +\\mathbb\{E\}\_\{y \\backsim p\_\{data\}(y)\}\[\\|G(F(y))-y\\|\_1\]\\)

#### 总损失 ####

\\(\\mathcal\{L\}(G,F,D\_X,D\_Y)=\\mathcal\{L\}\_\{GAN\}(G,D\_Y,X,Y) + \\mathcal\{L\}\_\{GAN\}(F,D\_X,X,Y)+\\lambda\\mathcal\{L\}\_\{cyc\}(G,F)\\)

#### 生成器 ####

编码：利用卷积神经网络从输入图象中提取特征。将图像压缩成256个64\*64的特征向量。

转换：通过组合图像的不相近特征，将图像在DA域中的特征向量转换为DB域中的特征向量。作者使用了6层Reset模块，每个Reset模块是一个由两个卷积层构成的神经网络层，能够达到在转换时同时保留原始图像特征的目标。

解码：利用反卷积层（decovolution）完成从特征向量中还原出低级特征的工作，最后得到生成图像。

#### 判别器 ####

70 × 70 PatchGANs

鉴别器本身属于卷积网络，需要从图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。

## 评估 ##

### AMT ###

Amazon Mechanical Turk

### FCN ###

The FCN metric evaluates how interpretable the generated  
photos are according to an off-the-shelf semantic segmentation algorithm (the fully-convolutional network, FCN)

### Semantic segmentation metrics ###

Cityscapes benchmark

![cycleganeva][]

![cycleganeva1][]

转载于:https://www.cnblogs.com/KresnikShi/p/10719266.html

[Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks]: https://junyanz.github.io/CycleGAN/
[paper]: https://arxiv.org/pdf/1703.10593.pdf
[main]: /images/20211228/bd88917d75204beb9c67bfab0b557817.png
[cyclegan]: /images/20211228/776dba626ebb4744bfde7ec238e11fe3.png
[cycleganeva]: /images/20211228/b0a6798ca7f440699ec63d9c38982766.png
[cycleganeva1]: /images/20211228/9e321b363a974d069376fded4eda4cca.png