基于时序卷积和半监督训练的3d人体姿态估计VideoPose3D

- 日理万妓 2023-01-02 10:25 174阅读 0赞

论文： [3D human pose estimation in video with temporal convolutions and semi-supervised training][]

Github：[https://github.com/facebookresearch/VideoPose3D][https_github.com_facebookresearch_VideoPose3D]

Human3.6M数据集：[https://drive.google.com/drive/folders/1kgVH-GugrLoc9XyvP6nRoaFpw3TmM5xK][https_drive.google.com_drive_folders_1kgVH-GugrLoc9XyvP6nRoaFpw3TmM5xK]

链接：[https://pan.baidu.com/s/1eIMomRUti5HMs4RXHF5ckA][https_pan.baidu.com_s_1eIMomRUti5HMs4RXHF5ckA] 提取码：aabb

**CVPR****2019**

论文提出了使用了传统膨胀卷积（dilated temporal convolutions）对时序2d关键点序列进行处理，得到3d时序关键点。同时提出了基于反向投影的半监督训练方法。最终实现在 Human3.6M仅仅6mm的平均误差。

![20210105150531122.gif][]

网络结构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70][]

B：block块的数目，4个

J：关键点的数目，17个

2J：输入为2\*J=34个通道

3d1：卷积核大小为3\*3，膨胀率为1

网络输入为243帧图片，每个图片17个2d关键点，输出为中间图片，即122张图片对应的17个关键点的3d坐标。

论文中的2d关键点检测，使用了2种方法。 Mask R-CNN 和cascaded pyramid network (CPN) 。

半监督训练策略：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1][]

对于标记的2d数据，Pose model回归3d坐标，loss为MPJPE loss，Trajectory model回归视频序列的轨迹，loss为WMPJPE loss。

对于未标记怼数据，Pose model和Trajectory model进行反投影，实现3d向2d的投影，然后计算2d MPJPE loss。同时对于Pose model加入了软约束Bone length L2 loss，使得标注数据和未标注数据的平均骨骼长度相匹配。

> To do so, we found it effective to add a soft constraint to approximately match the mean bone lengths of the subjects in the unlabeled batch to the subjects of the labeled batch

其中，WMPJPE loss表示 weighted mean per-joint position error (WMPJPE)，

![20210105150704168.png][]

yz表示相机坐标空间中，groundtruth的深度。

实验结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2][]

![20210105150757331.gif][]

总结：

1.  对于视频时序的处理中，使用膨胀卷积来替代lstm的方法，在速度和精度上都取得不了不错的效果。
2.  基于半监督的训练方法，使得整体精度更上一层楼。

[3D human pose estimation in video with temporal convolutions and semi-supervised training]: https://arxiv.org/abs/1811.11742
[https_github.com_facebookresearch_VideoPose3D]: https://github.com/facebookresearch/VideoPose3D
[https_drive.google.com_drive_folders_1kgVH-GugrLoc9XyvP6nRoaFpw3TmM5xK]: https://drive.google.com/drive/folders/1kgVH-GugrLoc9XyvP6nRoaFpw3TmM5xK
[https_pan.baidu.com_s_1eIMomRUti5HMs4RXHF5ckA]: https://pan.baidu.com/s/1eIMomRUti5HMs4RXHF5ckA
[20210105150531122.gif]: /images/20221119/797a578a25194f97ae3c2525270ddbf5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70]: /images/20221119/84b9cd99aad949faa0f56679e6c6d3db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1]: /images/20221119/8989914e1a9f4c8c8cd07a0a95d2f852.png
[20210105150704168.png]: /images/20221119/07ce71f4e95a485bb9663df5b78fb437.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2]: /images/20221119/3253bb42349a4c559660b4836e569adc.png
[20210105150757331.gif]: /images/20221119/0d715141946244fe83eac2fc860fd29f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，174人围观）

还没有评论，来说两句吧...

相关阅读

相关 [pvanet 检测]——基于深度学习的人体姿态估计网络

\[pvanet 检测\]——基于深度学习的人体姿态估计网络随着深度学习的发展，人体姿态估计在计算机视觉领域中变得越来越重要。PVA Net是一种基于深度学习的人体姿态估计

柔情只为你懂/ 2024年03月26日 20:42/ 0 赞/ 63 阅读

相关基于CNN的2D单人体姿态估计论文综述

> 1.DeepPose（谷歌大佬首次提出人体关键点解决方案） > 2.Joint-cnn-mrf（在cnn框架下利用条件随机场对位置进行建模，提出了heatmap）

雨点打透心脏的1/2处/ 2023年07月03日 12:21/ 0 赞/ 117 阅读

相关三维姿态捕捉_KeyPose：从立体图像估计透明物体3D姿态

![18537be140b2759311d56d565bd83baf.png][] 字幕组双语原文：KeyPose：从立体图像估计透明物体3D姿态英语原文：KeyPose

ゞ浴缸里的玫瑰/ 2023年01月05日 12:29/ 0 赞/ 107 阅读

相关基于时序卷积和半监督训练的3d人体姿态估计VideoPose3D

论文： [3D human pose estimation in video with temporal convolutions and semi-supervised tr

- 日理万妓/ 2023年01月02日 10:25/ 0 赞/ 175 阅读

相关人体姿态估计-生成heatmap的方法

人体姿态估计-生成heatmap的方法 -------------------- 参考Simple BaseLine生成HeatMap的方法，这里整理进行显示，方便可视

拼搏现实的明天。/ 2022年12月11日 11:24/ 0 赞/ 191 阅读

相关 C++性能优化系列——3D高斯核卷积计算(八)3D高斯卷积

本篇基于可分离卷积的性质，按照 X Y Z的顺序，依次计算每个维度的一维卷积。代码实现因为是按照X Y Z的计算顺序，因此只能够在计算X维度的卷积时，复用之前实现的

Dear 丶/ 2022年12月11日 09:30/ 0 赞/ 206 阅读

相关 1D/2D/3D卷积详解

目录概述 1D卷积 2D卷积 3D卷积概述 1D/2D/3D卷积计算方式都是一样的，其中2D卷积应用范围

迷南。/ 2022年11月29日 03:27/ 0 赞/ 340 阅读

相关 3D人体重建方法漫谈

转自：[https://blog.csdn.net/Asimov\_Liu/article/details/96442990][https_blog.csdn.net_Asim

骑猪看日落/ 2022年10月05日 00:53/ 0 赞/ 156 阅读

相关轻量级3D姿态估计

本文分享一款可以跑在手机上的3d姿态估计网络。效果图： ![f6e83bb9b4a9a79a505a59c9ef034eae.png][] 算力3.92GFLO

朴灿烈づ我的快乐病毒、/ 2022年09月14日 11:14/ 0 赞/ 183 阅读

相关 3D 池化（MaxPool3D）和 3D（Conv3d）卷积详解

3D 池化（MaxPool3D）和 3D（Conv3d）卷积详解池化和卷积的过程是类似的，只是池化没有权重，相比起来更容易说明计算的过程。这里从 3D 池化开始详细

冷不防/ 2022年09月11日 02:25/ 0 赞/ 885 阅读