这个人是GAN生成的？瞳孔形状判断下吧

缺乏、安全感 2022-09-11 03:26 49阅读 0赞

### 点击上方“**机器学习与生成对抗网络**”，关注星标  获取有趣、好玩的前沿干货！  ![0f7bbcfb73becb1bc280164470465cfc.png][] ###

### **  ****新智元报道****  ** ###

来源：arXiv 编辑：好困 新智元

##### 【新智元导读】定「睛」一看，就能区分照片真假？近日，来自纽约州立大学的华人研究员提出了一种全新的检测方法，可以根据眼睛形状判断人像的真假。不过，前提是你能把图放得了这么大才行。 #####

现在，利用GAN生成的人脸几乎真实到让「肉眼」检测都达到了瓶颈。

比如说，https://thispersondoesnotexist.com/，在这上每刷新一次都会生成一幅让你真假难辨的人脸。

不过，既然这些人脸是基于深度学习生成的，那我们就用魔法去打败魔法！

![9ef00be8238c635cbbcbda9e665fe45f.png][]

真实的人像（左），GAN生成的人像（右）

最近的研究表明，基于深度学习模型的检测方法确实可以提供了不少可行的方案。

然而，这些方法通常面临两个挑战：

1.  检测结果缺乏可解释性；
2.  由于过拟合导致在不同的合成方法中，泛化的稳健性很低。

为了消除这些限制并探索一个更稳健的模型，来自纽约州立大学奥尔巴尼和布法罗分校的华人研究员提出了一种全新的方法，通过不规则的瞳孔形状检测出GAN生成的人脸。

![834a1500b59087e31914a303a64a0a31.png][]

论文地址：https://arxiv.org/pdf/2109.00162.pdf

结果表明，从两只眼睛中提取瞳孔并分析它们的形状，可以有效区分GAN生成的人脸和真实的人像照片。

![cf2b700c06cf83e242d735b143f5cc5a.png][]

真实的人眼（左4），GAN生成的人眼（右4）

论文的主要贡献有三个方面：

1.  发现不规则的瞳孔形状广泛存在于高质量的StyleGAN生成的人脸中，这与真实的人类瞳孔不同。

1.  提出了一种新的基于生理学的方法，可以使用不规则的瞳孔形状作为检测GAN生成的人脸的依据，并且简单而有效。

1.  提出的方法不仅可以用于设计自动检测方法，而且也给利用「肉眼」区分GAN生成的人脸提供了一个新的线索。

# 眼睛不会骗人 #

作者从人眼的主要解剖部位着手进行研究，眼睛的中心是虹膜和瞳孔，而白色区域是巩膜。

![149dcb32e96b5a7f49f84f2a2f9a32ad.png][]

对于一个普遍意义上健全的人来说，瞳孔的形状是近乎圆形的。然而，在GAN生成的眼睛部分，可以观察到明显的伪影和不一致，如瞳孔的边界不是椭圆形的。

人眼的解剖结构

![a79839f39825f6bc6e1206bfe82d21bb.png][]

真实的眼睛（左），瞳孔为明显的圆形或椭圆形（黄色）；GAN生成的眼睛（右），瞳孔为不规则的形状（红色）

这种现象普遍存在于GAN生成的人脸上，其中一个根本原因是，目前的GAN模型缺乏对人眼解剖学的理解，特别是瞳孔的几何形状。

# 方法实现 #

作者利用模型对两只眼睛的瞳孔进行自动提取，并在之后评估这些瞳孔的形状是否为椭圆形。

**1. 瞳孔分割和边界检测**

首先通过人脸检测器来定位人脸，然后用提取器获得人脸的landmark。

在对两只眼睛对应的区域进行适当裁剪之后，使用EyeCool提取瞳孔的掩码及其边界。

![0d0237665ccce1337ca6e97bf17d5000.png][]

(a)输入的高分辨率人脸图像；(b)裁剪的眼睛图像；(c)图像(b)的预测瞳孔掩码；(d)对(c)进行椭圆拟合后的瞳孔掩码

EyeCool是一个改进的基于U-Net的模型，可以同时对瞳孔和虹膜、内部和外部边界进行分割。

其中EfﬁcientNet-B5被用作编码器，并在解码器中添加了一个边界注意块，以提高模型关注物体边界的能力。

此外，Dice损失和MSE损失都被用来训练模型，其中Dice损失被用来评估分割部分，MSE被用来计算边界热图的回归损失。

**2. 椭圆拟合的瞳孔**

利用基于最小平方的椭圆拟合方法可用于预测瞳孔掩码的外部边界，以估计椭圆拟合的瞳孔边界。

u为预测的瞳孔掩码的外边界上的点的坐标，利用最小二乘法找到一组参数θ，使数据点和椭圆之间的距离测量最小：

![eebf4e98fa51d8b4cc217299c7ba4a43.png][]

并通过最小化N个数据点上的代数距离平方之和来确定椭圆的大小：

![b7d0a703b84b2ed9e3bba78bbfdf4371.png][]

**3. 测量不规则瞳孔的形状**

Boundary IoU（BIoU）可以用来对边界质量敏感的图像分割。

相比于平等对待所有像素的Mask IoU，BIoU计算的是预测和基准真相之间的边界轮廓在一定距离内掩码像素的IoU。

因此，作者使用BIoU来评估距离瞳孔外边界d像素范围内的瞳孔掩码像素。

其中P表示预测的瞳孔掩码，F表示椭圆的瞳孔掩码，参数d是距离边界的距离，控制测量对边界的敏感性。

![80676d8e20c39ce44805f9e7a1fe7a40.png][]

左：预测的瞳孔掩码P和椭圆的瞳孔掩码F；

中：Pd和Fd是距离边界d以内的掩码像素（蓝色和黄色）；

右：预测的瞳孔掩码和椭圆修正的瞳孔掩码的距离参数d之间的边界IoU计算。

此外，当把d放大到足以包括掩码内的所有像素时，BIoU就等于掩码IoU。为了使BIoU对边界质量更加敏感，可以减少参数d以忽略掩码内部像素。

预测的瞳孔掩码和椭圆的瞳孔掩码之间的BIoU得分的范围是\[0, 1\]，较大的值表明瞳孔的边界与椭圆的形状更相似，那么人脸也更可能是真实的；否则就是用GAN模型生成的。

# 结果分析 #

**数据集**

真实人脸图像来自FlickrFaces-HQ（FFHQ）数据集，GAN生成的人脸由StyleGAN2创建。每个类别有1000张图像，分辨率为1024×1024。

**结果**

真实的人的瞳孔是清晰的椭圆形，这可以从预测的瞳孔掩码和椭圆的瞳孔掩码之间较高的BIoU分数中反映出来。然而，不规则瞳孔形状的伪影导致BIoU得分明显降低。

![32036b4f78e53d704f1c691d95b56ba4.png][]

真实的人眼

![b1346d686997d87c8ce4cba778b89782.png][]

GAN生成的人眼

此外，真实的人脸和GAN生成的人脸在BIoU得分的分布上有明显的区别。

![af5b74f78790cac1f2ef221b4d74babb.png][]

真实的人脸和GAN生成的人脸在边界IoU上得分的分布情况

接收者操作特征（ROC）曲线，对应的AUC（ROC曲线下的面积）为0.94。

![b7ecb7a91e3249883c9d9df2286766cd.png][]

ROC曲线是基于边界IoU的得分，d=4

由此表明，不规则的瞳孔形状能有效地识别GAN生成的人脸，并用来与真实的人脸进行区分。

**超参数分析**

BIoU测量法有一个基本参数d，它表示与边界的距离。当d足够大时，BIoU将减少到Mask IoU，从而对边界不那么敏感，这就是为什么AUC分数随着d的增加而减少。

![c9abda9316b8ab37c4cd8053e557a76c.png][]

x轴表示超参数d的变化，y轴为AUC得分

**局限性**

1.  当真实面孔的形状为非椭圆形时，可能会出现假阳性。例如瞳孔和虹膜区域的疾病。

![8e37ebf57b7af924ad14fb9977100957.png][]

由于瞳孔和虹膜区域的疾病和感染，导致的非椭圆形异常瞳孔

1.  瞳孔上的遮挡或瞳孔分割失败也可能导致错误的预测。

![303feba2d16a2667ff6214a373b5aacf.png][]

遮挡和瞳孔周围的噪声以及瞳孔分割失败

整体而言，论文提出利用瞳孔进行区分的方法是非常有效的。

不过，前提是图像的分辨率足够高……

参考资料：

https://arxiv.org/pdf/2109.00162.pdf

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![a1e1e7f02c2d73f7ec97ead6280a9b44.png][]

[0f7bbcfb73becb1bc280164470465cfc.png]: /images/20220828/c0f3834b97c1423991717bb52eb607d6.png
[9ef00be8238c635cbbcbda9e665fe45f.png]: /images/20220828/3e90730d30c3412c8feb886c3bad68fb.png
[834a1500b59087e31914a303a64a0a31.png]: /images/20220828/02ec4db5771b48fabfa38a8dc38e76bc.png
[cf2b700c06cf83e242d735b143f5cc5a.png]: /images/20220828/ba624f52525341fcba46c39afade46d6.png
[149dcb32e96b5a7f49f84f2a2f9a32ad.png]: /images/20220828/87b38363889e43119ec85c6ebdf2968a.png
[a79839f39825f6bc6e1206bfe82d21bb.png]: /images/20220828/1f41c8138c5240278342207c33f8ac4e.png
[0d0237665ccce1337ca6e97bf17d5000.png]: /images/20220828/73f5132da3424874bded43befada3054.png
[eebf4e98fa51d8b4cc217299c7ba4a43.png]: /images/20220828/f8d7c81da37e4910bd1dab895ea64988.png
[b7d0a703b84b2ed9e3bba78bbfdf4371.png]: /images/20220828/2f64460c5d134b4b9e43ebcea9535236.png
[80676d8e20c39ce44805f9e7a1fe7a40.png]: /images/20220828/a8f691233326452d90839010f26ca586.png
[32036b4f78e53d704f1c691d95b56ba4.png]: /images/20220828/cea5eb21704543029e364a00e712567e.png
[b1346d686997d87c8ce4cba778b89782.png]: /images/20220828/97618f2468e9405e8b9920216f21f603.png
[af5b74f78790cac1f2ef221b4d74babb.png]: /images/20220828/a4cbc722dcf0452db3831538c46e9694.png
[b7ecb7a91e3249883c9d9df2286766cd.png]: /images/20220828/d39d7dbe2b51494eac384954ab640fbd.png
[c9abda9316b8ab37c4cd8053e557a76c.png]: /images/20220828/c92b2b7551444754a7d57286098fc8d2.png
[8e37ebf57b7af924ad14fb9977100957.png]: /images/20220828/c052013db86a458bb28e78d8d91a3ca2.png
[303feba2d16a2667ff6214a373b5aacf.png]: /images/20220828/2c30496c74264be089ee053feaa409f8.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[a1e1e7f02c2d73f7ec97ead6280a9b44.png]: /images/20220828/c2742f33605940a79d5edaeee2227cee.png