舞蹈迁移：EverybodyDanceNow reproduced in pytorch

Love The Way You Lie 2023-01-17 10:59 143阅读 0赞

# Environments #

Ubuntu 16.04  
  
Python 3.6.5  
  
Pytorch 0.4.1  
  
OpenCV 3.4.4  
  
2. PS:不是linux环境：设置 `nThreads=0` in `EverybodyDanceNow_reproduce_pytorch/src/config/train_opt.py`

## 预训练模型和原视频 ##

*  Download vgg19-dcbb9e9d.pth.crdownload [here][] and put it in `./src/pix2pixHD/models/`  
    
 *  Download pose\_model.pth [here][here 1] and put it in `./src/PoseEstimation/network/weight/`  
    
 *  Source video can be download from [here][here 2]
 *  Download pre-trained vgg\_16 for face enhancement [here][here 3] and put in `./face_enhancer/`

## Full process ##

### Pose2vid network ###

#### 获取源图片 ####

*  将原视频 mv.mp4 i放在 `./data/source/` and run `make_source.py`, 标签图片保存在 `./data/source/test_label_ori/` and `./data/source/pose_souce.npy` (在第6步使用). 如果想从摄像头抓取图片`./src/utils/save_img.py`

#### 获取目标图片 ####

获取你的目标视频 重命名为 mv.mp4 放在 `./data/target/` ，运行n `make_target.py`, `pose.npy` 保存在 `./data/target/`，其中包含协调的脸部表情。

#### 训练使用pose2vid network ####

*  运行`train_pose2vid.py` 模型保存在 `./checkpoints/`
 *  如何你想终止训练继续上次的训练可以设置, `load_pretrain = './checkpoints/target/` 在 `./src/config/train_opt.py`  
    \*运行 `normalization.py` 正则化标签图片, 可以使用两张图片 `./data/target/train/train_label/` and `./data/source/test_label_ori/` 来完成正则化
 *  运行 `transfer.py` 结果保存在 `./results`

### Face enhancement network ###

#### Train and use face enhancement network ####

*  运行 `cd ./face_enhancer`.
 *  运行`prepare.py` 在`data` 文件夹检测结果， 分别在这两个文件夹 (`data/face/test_sync` and `data/face/test_real`).
 *  运行 `main.py`执行面部强化训练.运行 `enhance.py` 执行强化测试

#### 结果生成 ####

*  `cd` 回到根路径，执行 `make_gif.py`生成gif文件.

# 图片 #

*  ![ezQ4DncwsqFyKx9][]
 *  ![tQWDgLHuwECXZNY][]
 *  ![oj1dYP5ANTnO27q][]
 *  ![cOh3yMzUmkuoxre][]
 *  ![BCqajH6yo8XG41r][]

[here]: https://drive.google.com/file/d/1JG-pLXkPmyx3o4L33rG5WMJKMoOjlXhl/view?usp=sharing
[here 1]: https://drive.google.com/file/d/1DDBQsoZ94N4NRKxZbwyEXt7Tz8KqgS_w/view?usp=sharing
[here 2]: https://drive.google.com/file/d/1drRBJypNGqOZV9WFutEzDYXkEelUjZXh/view?usp=sharing
[here 3]: https://drive.google.com/file/d/180WgIzh0aV1Aayl_b1X7mIhVhDUcW3b1/view?usp=sharing
[ezQ4DncwsqFyKx9]: /images/20221021/609e24fa2a644dd4b201355ed09811b0.png
[tQWDgLHuwECXZNY]: /images/20221021/3acb4df8713b40768b2d797e2de81f01.png
[oj1dYP5ANTnO27q]: /images/20221021/6aea14d7ce5648f081aff25cbec1aea9.png
[cOh3yMzUmkuoxre]: /images/20221021/2f4cac4eaa5546119bb190e09f7df4fe.png
[BCqajH6yo8XG41r]: /images/20221021/664d107b75f549cf958e31b8d6f90523.png