你的孩子长啥样，用 BabyGAN 预测试试

偏执的太偏执、 2022-10-14 12:57 175阅读 0赞

老婆嫁人了」、「星野源夺妻之痛」、「爷青结」……星野源和新垣结衣官宣结婚后，不少网友发出了如上感叹。

![图片][4333157c459c71bab61a09418158cc9c.png]

**二人曾共同出演日剧《逃避可耻但有用》**

**剧中两位主角原本是“契约结婚”，后终成眷属**

还有一波网友在坦然接受「失恋」现状后，转而关心起新垣结衣和星野源的孩子来，**生怕孩子长得不像妈妈。**

![20210521174353381.gif][]

**微博网友对二人孩子长相，表现出了极大关心**

**借助开源模型 BabyGAN，我们预测了新垣结衣和星野源未来孩子的长相。**

「大河」是《逃避虽然可耻但有用》剧中，二人孩子的名字。

**根据 BabyGAN 的预测，**如果新垣结衣跟星野源的孩子是个女孩的话，**那么不同年龄的大河可能长这样：**

![图片][e17040e4ece5628c3a1654da7f4db7ad.gif]

**BabyGAN 生成的女儿成长动图**

如果大河是个男孩的话，**那么不同年龄的大河可能长这样：**

![图片][016952eb142f33e4109c2125d841911d.gif]

**BabyGAN 生成的儿子成长动图**

** BabyGAN 到底是何方神器**

**BabyGAN 是一个基于 StyleGAN 的儿童长相预测器，**可以基于编码器和生成器，输入父亲和母亲的图像，经过神经网络的处理后，生成或预测未来孩子的长相。

**预测方法： **使用基于 GAN 架构的神经网络模型，从输入的父母图像中提取 latent representation，然后用算法将其按一定比例混合，生成孩子图像。

![20210521174353382.gif][]

**父亲（左）、预测长相（中）、母亲（右）**

利用 latency direction，可以改变年龄、面部朝向、情绪及性别等参数。

项目地址:

*https://github.com/tg-bomze/BabyGAN*

编码器:

*https://github.com/pbaylies/stylegan-encoder*

**本教程主要演示了：**

1、从本地加载训练好的 BabyGAN 模型

2、准备父母双方图像，并获取其 latent representation

3、用模型生成孩子的面容

4、调整孩子的性别、年龄等参数，生成符合需求的孩子图像

![图片][43e3d286da125ff715a5bf325e53e31a.gif]

**调整孩子性别、年龄等属性的示意动画**

**安装环境：**Python：3.6；TensorFlow：1.15

**注意事项：**本教程推荐使用 GPU 运行

**教程地址：**

*https://openbayes.com/console/openbayes/containers/WOpfLGoTdkg*

**完整教程：**

*https://openbayes.com/console/openbayes/containers/WOpfLGoTdkg*

** StyleGAN 相关的高赞开源项目**

BabyGAN 模型基于 StyleGAN，除此之外，基于 StyleGAN 和 StyleGAN2，**还派生出了诸多优质开源项目。**

** StyleALAE **

**StyleALAE 是一个基于 StyleGAN 生成器的对抗隐性自动编码器，**它不仅可以生成图像质量与 StyleGAN 相当的 1024 x 1024 人脸图像，而且在同样的分辨率下，还可以基于真实图像进行人脸重建和属性更改。

![图片][506c5e0393f90975a35066121a7db098.png]

**StyleALAE 架构示意图**

**StyleALAE 编码器使用 Instance Normalization (IN) 层来提取多尺度风格信息，**这些信息通过可学习的多重线性映射 (learnable multilinear map)，组合成隐式代码 w。

相关论文：

*https://arxiv.org/pdf/2004.04467.pdf*

项目地址：

*https://github.com/podgorskiy/ALAE*

** StyleFlow **

虽然使用 StyleGAN 可以轻松生成高质量、多样化、逼真的图像，但是使用（语义）属性控制生成过程、同时又保持高质量输出，实现起来却并不简单。**此外由于 GAN 潜在空间的纠缠特性，**沿着一个属性编辑很容易引起其他属性的变化。

为了解决纠缠潜在空间的条件化探索中，**属性条件化采样 (attribute-conditioned sampling) 和属性条件化编辑 (attribute- conditioned editing) 的问题，**科研人员提出了 StyleFlow。

![图片][d1a3a65e116a645232245465910db82f.png]

**利用 StyleFlow 可以针对某一属性进行修改**

**而不引起其他属性的变化**

**如只更改光照、姿势、表情、性别等**

用 StyleFlow 对真实图像进行非顺序 (non-sequential) 编辑，**针对老年人、非对称等极端图像时，**效果优于并发方法 (concurrent method)。

相关论文：

*https://rameenabdal.github.io/StyleFlow/*

项目地址：

*https://github.com/RameenAbdal/StyleFlow*

** Pixel2style2pixel (pSp) **

pSp 是一个用于图像到图像转换的 StyleGAN 编码器，它基于一个新型编码网络，可以直接生成一系列风格向量，**这些风格向量被输入到预训练 StyleGAN 生成器中，形成扩展的 w+ 潜在空间。**

在 pSp 中，编码器无需额外优化就可以直接将真实图像嵌入 w+ ，**且利用编码器可以直接解决图像到图像的转换任务，并将其定义为从输入域到潜在域的编码问题。**

![图片][ded1032a445f341e15d17d1d80b6b7e7.png]

**pSp 在 StyleGAN 反演、多模态条件图像合成**

**人脸正面化、图像修复和超分辨率场景中的成果展示**

pSp 可以在不改变结构的前提下，**处理各种各样的图像转换任务，**如由分割图生成人脸图像、人脸正面化、超分辨率等。

相关论文：

*https://arxiv.org/abs/2008.00951*

项目地址：

*https://github.com/eladrich/pixel2style2pixel*

** GenForce **

**GenForce 是一个适用于 StyleGAN、StyleGAN2、PGGAN 等深度生成模型的高效 PyTorch 库，**它具有以下特点：

1、分布式训练框架

2、训练速度快

3、模块化设计，适用于新模型的原型制作

4、与官方 TF 版本相比，高度再现了 StyleGAN 的训练

5、包含众多带 Colab demo 的预训练 GAN 模型

![图片][5799194150e951469c97b97cbc9ce1e3.png]

**部分 GenForce 相关项目及论文**

相关论文：

*https://genforce.github.io/*

项目地址：

*https://github.com/genforce/genforce*

[4333157c459c71bab61a09418158cc9c.png]: /images/20221014/6e0702cc2ec441f484e3912ac469c16c.png
[20210521174353381.gif]: /images/20221014/a12c2fa87548401d8dd1a3b0c222d79a.png
[e17040e4ece5628c3a1654da7f4db7ad.gif]: /images/20221014/bf413845e277405a97b61c5093f8f855.png
[016952eb142f33e4109c2125d841911d.gif]: /images/20221014/017b84836ea9444b88ffd2b3fa26860b.png
[20210521174353382.gif]: /images/20221014/668e6c4bd7744b3f8129cfb429eab1eb.png
[43e3d286da125ff715a5bf325e53e31a.gif]: /images/20221014/1ec3a6be58bc4301b9dced8d3a493b12.png
[506c5e0393f90975a35066121a7db098.png]: /images/20221014/d76f2b4ba87d46bf8c2aeaac0ce5d4ca.png
[d1a3a65e116a645232245465910db82f.png]: /images/20221014/01695fffb47b4eef9d2329b44daf47a2.png
[ded1032a445f341e15d17d1d80b6b7e7.png]: /images/20221014/8aa482d93ce142ae9f764f3e1b02f2ff.png
[5799194150e951469c97b97cbc9ce1e3.png]: /images/20221014/b05d7362fd4d49789a63ca7783e28891.png