草图 -->> 现实人脸，可以多草？

野性酷女 2023-01-14 14:59 183阅读 0赞

点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！
    来源：公众号 量子位 授权

画画手残，也想搞出一个逼真人像？

这个可以有。

油管（Youtube）上的一位小哥，就用一个简单的小程序办到了！

效果还不错！分辨率和逼真度应有尽有。

![ee9cc4524e4aa2c07be41450af0648f9.png][]

你要知道，草图可是这样的……

![ab152e7da02ea3d0b45bc5bdecad7ca0.png][]

见鬼了。

## 画画手残党的AI人脸生成作品 ##

第一组的首战告捷，小哥决定换个性别看看。

![c7fc2c8c4b4c9f494797e2f04cb8a2f3.png][]

OK，性别识别成功✅，就是看起来有点“瘆人”。

要怪就怪小哥的“灵魂”画技吧……

下一组——

作者逐步画脸、头发、眼睛……让大家看看AI是怎么一步步生成人像的。

![5117674c2cd93b471ca2831998b8adea.gif][]

看起来，随着细节的完善，人脸也被训练得随之丰富起来。

接下来，脑洞大开的作者居然画起三角形/芒果形/方形/梨形人脸……

要玩坏了吗？

NO!

管他什么脸型还是歪耳朵斜眼睛，都成功了。结果还算满意，有一张颜值居然还可以。

![e96eb730f5455a743ba59e6ee796a9ee.png][]

那，画个鸣人看看？

![d4b63c59145bba9f8e364753f98c8428.png][]

现实世界里的鸣人会长什么样子呢？

![c4d5403ce5fc98c7eab48ed18fca528b.png][]

救命！????！！！

……

后面小哥又整了两组：

![ed830727040582bf78d95ae03a879262.png][]

###### **△**Minecraft中Steve的AI人像：还原了方方的头发 ######

######     ######

![105875677fccd913e7b9a7a033945ee6.png][]

###### **△**动画片角色Rick Sanchez的AI人像: 神似迈克尔·杰克逊？    ######

有没有发现AI居然能够基本呈现相应原人物的皱纹和肤色，再加上上面鸣人AI的头像也“歪打正着”的黄头发。

这么神奇？

但作者调侃：是魔法……

## 灵感来自一篇论文 ##

这个想法的提出和程序的实现者是一位网名叫做“Stochastic Machine”（随机机？）的小哥。

灵感来自一篇论文——  
《Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation》

这篇论文讲技术人员如何在styleGAN顶层训练了一个深度神经网络来学习将源图像映射到styleGAN模型的输入，最终输出高质量的目标图像。

其中有三个有趣的实例。

1、将侧着的人脸输出为相应的正脸（Face Frontalization）

![939fb8256831dca307c131033c240c00.png][]

2、将一个糊了的人脸生成为一张高分辨率的人脸（Super Resolution）

但是还原的最接近长相不止一种。

![6b6069dbe367f71173dde5aae8b1458b.png][]

3、和pix2pix非常相似的条件图像合成（Conditional Image Synthesis）

编码器输入一张手绘或face mask，就能生成一系列高清真人头像！

pix2pix是在GAN的基础上设计出的一个算法，完成成对的图像转换，可以得到比较清晰的结果。

GAN（Generative Adversarial Networks），生成式对抗网络，是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。

![274846aea5ffb2f1617fe023ac94a660.png][]

小哥对最后一个效果表示非常赞许和感兴趣。并转念一想：

也许我可以做个简单的程序来实现信手涂鸦一键生成高逼真AI人脸。

说干就干，小哥先前就搞了一个基于pix2pix技术的草图生成人脸程序。

无奈效果相去甚远——根本不是人！

![48aa46b2081eaa3068d30c20d7e0f5ad.png][]

现在他将原代码结合这篇论文的技术，做成了这样一个简单的应用程序。不管你的画功有多烂，都能生成一张像模像样的高逼真AI人脸。

## AI人脸生成技术：从模糊到难辨真假 ##

一开始，很多AI人脸生成作品（技术基于GAN）只能勉强模仿出一个人类的脸的大概样子，但是多少都有点“糊”(lack quanlity)。

且不说有的生成的还只是黑白的人像。

2019年，StyleGAN的出现让AI图像生成技术迈出了超一大步！

该技术生成的人像终于能够逼真到“如果我不说，你就根本猜不出来我是AI”了！

StyleGAN是基于GAN开发的模型。

StyleGAN中的“Style”是指人脸的各种属性，包括脸型、发型等，还有人脸肤色、是否有皱纹等细节。不同的“画法”，可以精确控制人脸不同的“style”。

上面“随机机”小哥用到的StyleGAN2是对StyleGAN的改进。

基于这项技术的人脸生成应用数不胜数，这位小哥的最大不同就是不需要你按着底图临摹加工，也不需要你有多好的画画技术，多“灵魂”都能给你生成相应的高逼真人像！

不过有人表示小哥这个程序生成的肖像大多具有印度(次大陆)常见的人脸特征。

当然，小哥说这都是在相应的数据集（CelebA-HQ）上训练的结果。

参考链接：

\[1\]https://www.youtube.com/watch?v=oRRtSYxGf6w  
\[2\]https://www.reddit.com/r/deeplearning/comments/mpf6qd/using\_stylegan2ada\_and\_pixel2style2pixel\_to\_turn/  
\[3\]https://zhuanlan.zhihu.com/p/263554045

**猜您喜欢：**

![9dd264d706eb61a0b9bda48658f0d0be.png][]

![7f443aa3f6e077634c5724c6a45abdf8.png][]

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![f8246aea2cebba1a9b5e6031d5c3dd44.png][]

[ee9cc4524e4aa2c07be41450af0648f9.png]: /images/20221022/e28ac1377a294853b9ad36cef733b72d.png
[ab152e7da02ea3d0b45bc5bdecad7ca0.png]: /images/20221022/12d4128b6be04726a3da440dee8aa440.png
[c7fc2c8c4b4c9f494797e2f04cb8a2f3.png]: /images/20221022/e77d62a368f94da9826c688d7026a153.png
[5117674c2cd93b471ca2831998b8adea.gif]: /images/20221022/92064dbf277e4d398cba94167d6ff1f4.png
[e96eb730f5455a743ba59e6ee796a9ee.png]: /images/20221022/67161ebbbc854cc29967e9be9be140a8.png
[d4b63c59145bba9f8e364753f98c8428.png]: /images/20221022/2df7a4a76ba8439d8db49dc7b3c95008.png
[c4d5403ce5fc98c7eab48ed18fca528b.png]: /images/20221022/97f7d17b278c45efbca8bc766baab553.png
[ed830727040582bf78d95ae03a879262.png]: /images/20221022/68da59a8a0d74a50b9af66eaf97d49b9.png
[105875677fccd913e7b9a7a033945ee6.png]: /images/20221022/4befd68996b742328517e8d3147f60d6.png
[939fb8256831dca307c131033c240c00.png]: /images/20221022/a017fb2ee34340eaaa62daa463a2dccc.png
[6b6069dbe367f71173dde5aae8b1458b.png]: /images/20221022/2423fc824b4f447b96c50380366d289e.png
[274846aea5ffb2f1617fe023ac94a660.png]: /images/20221022/8a87d5b9668f4d1dae7eff77268b5115.png
[48aa46b2081eaa3068d30c20d7e0f5ad.png]: /images/20221022/dc8ac0d045664e1cbed566bfc7faf2c1.png
[9dd264d706eb61a0b9bda48658f0d0be.png]: /images/20221022/6a4c18d8c78d40128af9a10931287b1d.png
[7f443aa3f6e077634c5724c6a45abdf8.png]: /images/20221022/724bd55d8f634de8bf8bd91ddf7a2005.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[f8246aea2cebba1a9b5e6031d5c3dd44.png]: /images/20221022/e89f5b8060344394947114cf76c51ccf.png