换脸算法之DeepFaceLab

我就是我 2023-02-19 12:25 14阅读 0赞

论文：[DeepFaceLab: A simple, flexible and extensible face swapping framework][DeepFaceLab_ A simple_ flexible and extensible face swapping framework]

Github：[https://github.com/iperov/DeepFaceLab][https_github.com_iperov_DeepFaceLab]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70][]

论文提出了一个简单，灵活，可扩展的换脸框架DeepFaceLab。

![20200620165054247.gif][]

使用DeepFaceLab进行换脸的，汤姆·克鲁斯2020“参选”美国总统的竞选广告

主要贡献：

1.  一个具有成熟流程的state-of-the-art 的框架提出，旨在获得真实图片结果的换脸效果。
2.  自打2018年以来，DeepFaceLab开源了源码，一直保持在计算机视觉领域的进步，对防卫假脸做出了贡献。在开源社区和VFX 领域取得了广泛关注。
3.  DeepFaceLab提供了一些高效的组尖和工具，使得用户可以更加灵活的操作和及时发现问题。

DeepFaceLab特点：

1.  Leras ，更加轻量的keras，使用TensorFlow作为深度学习框架。具备简单和灵活的模型构建能力。训练过程的时间性能指标减少10%-20%。具备更加灵活的tensor的控制。
2.  Put users first ，用户优先
3.  Engineering support ，工程化支持，支持多gpu训练，支持半精度训练
4.  可扩展性和可批量化特性，Extensibility and Scalability

整体流程：

整体处理过程包括人脸检测，人脸关键点检测及对齐，人脸分割，人脸融合，人脸锐化。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1][]

**人脸检测Face Detection ：**

DeepFaceLab使用S3FD作为默认的人脸检测框架，也可以使用其他的检测框架，比如RetinaFace , MTCNN

**人脸对齐Face Alignment ：**

对于正常姿势的人脸使用2DFAN ，对于欧拉角较大的人脸使用PRNet

**人脸分割Face Segmentation :**

使用TernausNet ，XSeg

**人脸融合Face Blending ：**

![20200620164351474.png][]

提供了超过5种以上的颜色变换算法，包括，reinhard color transfer（RCT） , iterative distribution transfer（IDT）

![20200620164406243.png][]

正常的融合方式，类似alpha融合。为了实现对不同的皮肤颜色，人脸形状，光照条件进行优化，这里提出了自己的泊松融合方式，

![20200620164421388.png][]

**人脸锐化Face Sharpening :**

提供了人脸超分辨模型FaceEnhancer 。

网络结构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2][]

DeepFaceLab 包含2种模型结构，分别为DF和LIAE。

在DF模型中，原图和目标图的隐空间特征都是通过Inter模块进行的提取。而在LIAE模型中，则是分别通过InterAB，InterB，2个模块进行提取。其中，InterAB会输出原图和目标图的隐空间特征，InterB只输出目标图的隐空间特征。

然后，InterAB的输出原图特征和自己进行通道的concat，然后输入解码模块。InterAB的输出目标图特征和InterB的输出目标图特征进行concat，然后输入解码模块。

在训练过程中，通过对人脸眼睛区域加mask操作，使得眼睛部分传递更大的loss，颈部则传递较少的loss，使得换脸后的生成图片具有生动的眼睛细节。

训练的loss使用DSSIM (structural dissimilarity) + MSE ，其中，DSSIM 可以使得生成的人脸训练速度更快，MSE 则提供了更好的人脸细节。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3][]

DF模块的详细结构图如上图，LIAE模块与之类似。

DF结构里面包含了普通模块DF和高清DFHD模块，共2个分支。两者的主要区别就是DFHD在编码和解码模块都堆叠了更多的层。

该结构的主要特点：

1.  使用pixelshuffle (depth2space) 进行上采样，而不是反卷积和双线性插值。这样做的好处就是可以消除生成图片边界效应。
2.  解码模块采用残差连接方式，融合更多的特征。
3.  最后一层的输出，采用sigmoid归一化输出为0--1之间，而不是采用tanh归一化到-1--1之间。

实验结果：

![2020062016470576.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 5][]

总结：

> Suppressing the publication of such methods would not stop their development, but rather make them only available to a limited number of experts and potentially blindside policy makers if it goes without any limits

[DeepFaceLab_ A simple_ flexible and extensible face swapping framework]: https://arxiv.org/abs/2005.05535
[https_github.com_iperov_DeepFaceLab]: https://github.com/iperov/DeepFaceLab
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020062016415083.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[20200620165054247.gif]: https://img-blog.csdnimg.cn/20200620165054247.gif
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200620164252191.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[20200620164351474.png]: https://img-blog.csdnimg.cn/20200620164351474.png
[20200620164406243.png]: https://img-blog.csdnimg.cn/20200620164406243.png
[20200620164421388.png]: https://img-blog.csdnimg.cn/20200620164421388.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200620164506353.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200620164555749.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[2020062016470576.png]: https://img-blog.csdnimg.cn/2020062016470576.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200620164720774.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/2020062016475444.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5,size_16,color_FFFFFF,t_70