Human3.6M 数据集介绍及下载

---

引言

Human3.6M 是一个用于 3D 人体位姿估计研究的大型公开数据集，在 paperswithcode 中可以看到在此数据集上提出的各种 SOTA 算法及模型，是目前基于多视图的 3D 人体位姿研究最为重要的一个数据集，没有之一。

下载

在官网下载的话需要使用教育邮箱注册账号并等待审核，审核速度非常慢。这里推荐直接使用如下方式下载：

# Download H36M annotations
mkdir data
cd data
wget http://visiondata.cis.upenn.edu/volumetric/h36m/h36m_annot.tar
tar -xf h36m_annot.tar
rm h36m_annot.tar

# Download H36M images
mkdir -p h36m/images
cd h36m/images
wget http://visiondata.cis.upenn.edu/volumetric/h36m/S1.tar
tar -xf S1.tar
rm S1.tar
wget http://visiondata.cis.upenn.edu/volumetric/h36m/S5.tar
tar -xf S5.tar
rm S5.tar
wget http://visiondata.cis.upenn.edu/volumetric/h36m/S6.tar
tar -xf S6.tar
rm S6.tar
wget http://visiondata.cis.upenn.edu/volumetric/h36m/S7.tar
tar -xf S7.tar
rm S7.tar
wget http://visiondata.cis.upenn.edu/volumetric/h36m/S8.tar
tar -xf S8.tar
rm S8.tar
wget http://visiondata.cis.upenn.edu/volumetric/h36m/S9.tar
tar -xf S9.tar
rm S9.tar
wget http://visiondata.cis.upenn.edu/volumetric/h36m/S11.tar
tar -xf S11.tar
rm S11.tar
cd ../../..
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

当然，wget 是单线程下载，可以考虑使用 NDM 多线程下载来提高速度。此外，该数据集文件是放在国外的服务器上，因此有条件的可以开个网络代理。

概述

数据规模和多样性

• 360 万张 3D 人体姿势和对应图像
• 11 名专业演员（6 男 5 女）
• 7 个场景（讨论、吸烟、拍照以及打电话等等）

准确捕捉和同步

• 来自 4 个标定的高分辨率 50HZ 相机拍摄的视频
• 来自高速运动捕捉系统的精准 3D 关节位置和角度
• 单次配置 24 个身体部位标签
• Time-of-flight 范围数据
• 对每个演员进行 3D 激光扫描
• 精准的背景去除和人体边界框

演示

角色

这些动作是由 11 名专业的演员（6 男 5 女）来完成的，它们的 BMI 指数范围是 17~29，这保证了适度的身体形状可变性以及不同的活动范围。受试者穿着的是自己的日常服装，而不是特殊的动作捕捉服，以尽可能保持真实感。其中，对 7 名受试者（4 男 3 女）采集的数据进行训练和验证，4 名受试者（2 男 2 女）采集的数据进行测试。

场景

该数据集由 4 台数码相机收集的 360 万个不同的人体姿势组成。数据被组织成 15 个训练动作，其中包含多种不对成的行走姿势（例如手插口袋走路，肩扛包走路）、坐姿、躺姿、各种等待姿势以及其他类型的姿势。演员们被赋予了带有示例的详细任务，以帮助它们在重复之间规划一组稳定的姿势，以创建训练、验证和测试集。然后，在执行这些任务时，演员们也有相当多的自由，可以自由地超越对任务严格的解释。

数据

实验环境

实验室设置如上图。使用 15 个传感器（4 个数码相机、1 个 time-of-flight 传感器，10 个动捕相机）来捕获数据。拍摄区域约为 6mx5m，其中有效拍摄空间是 4mx3m，所有的相机都能完全看到拍摄对象。4 台数码相机（DV）放置在拍摄空间的角落。time-of-flight（TOF） 传感器放置在其中一个数码相机的旁边。墙壁上安装了一组 10 个动作捕捉（MX）相机，以最大限度地提高有效实验体积，左右两侧各 4 个，底部水平边缘大约中间位置有 2 个。

图像数据

使用 4 台 basler 高分辨率逐行扫描相机来采集 50HZ 的视频数据。他们与动作捕捉系统处于相同的时钟和出发状态，从而确保视频和姿势数据之间的完美同步。系统的默认校准程序执行起来非常简单，但相机模型不包含径向和切向畸变参数。由于我们力求获得高质量的姿势信息，因此使用了一个更复杂、稳健的程序。整个数据集的视频帧总数超过 360 万。

姿势数据

姿势数据是相对于骨架给出的。处于一致性和方便考虑，对所有参数化使用相同的 32 个关节骨架。在测试中，我们减少了相关关节的数量，例如每只手和每只脚只留下一个关节。

注意

使用该数据集请在参考文献出引用如下两篇文献：

@article{h36m_pami,
author = {Ionescu, Catalin and Papava, Dragos and Olaru, Vlad and Sminchisescu,  Cristian},
title = {Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments},
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence},
publisher = {IEEE Computer Society},
volume = {36},
number = {7},
pages = {1325-1339},
month = {jul},
year = {2014}
}
@inproceedings{IonescuSminchisescu11,
author = {Catalin Ionescu, Fuxin Li, Cristian Sminchisescu},
title = {Latent Structured Models for Human Pose Estimation},
booktitle = {International Conference on Computer Vision},
year = {2011}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

参考

• 3D人体姿态估计-Human3.6m相关
• Human3.6M 数据集的下载与 Human3.6M pkl 文件缺失的处理方法