guodong's blog

master@zhejiang university
   

论文阅读(12):3D Human Pose Estimation from a Single Image via Distance Matrix Regression

论文地址 https://arxiv.org/pdf/1611.09010 是cvpr2017的文章。

文章先从单张图像中获得2D关节,然后通过2D关节预测3D姿势。具体是使用N*N的矩阵表示每对关节的欧氏距离,欧式距离比向量表示有一些有趣的优势,适合解决3个问题:

  1. 很自然地编码姿势的结构信息。矢量表示需要明确这样的约束条件。
  2. 具有图像旋转和平移不变性,归一化后对尺寸也没关系。
  3. 具有所有关节的相互关系和依赖关系。

作者使用FC来得到映射关系,数据维度不大,14*14的方阵,14个关节。为什么不采用Geodesic Distance Matrices (GDMs)来代替EDMs呢,作者说GDM对等长变形不变,导致一些不同的形状会导致相同的GDM,而EDM和形状有关,和旋转平移反射等无关。

具体方法

首先是使用关节检测器CPM检测身体关节,然后归一化关节,用EDM表达,随后进入神经网络,回归一个3D身体坐标的EDM。最后通过“反射思想”的多位尺寸方法估计3D关节的位置。

使用CPM时,可能会有些关节检测不到,为了保证维度,作者将其设置为0,。为了使2D姿势和尺度无关,进行了归一化,使其范围限制在[-1,1],单位为m。生成的3D关节位置不需要预处理。

全连接架构:因为EDMs是对称的,所以只需要学习n*(n-1)/2个参数,对角线不用学习。

全卷机架构:收缩和扩充部分。收缩部分包含两个卷积,7*7kernel,64featuer,同时使用2*2,stride=2的池化层。扩充部分包括两个反卷积层和一个卷积层。扩充结果不一定是正的,对称的矩阵。因此在计算loss前,强制使其对称,即采用(z + zT)/2形式,最后采用relu,保证所有结果为正。

得到距离矩阵后如何转化成3D矩阵,作者采用这个公式其中,Pn表示3D关节坐标,目标是使上面式子最小,作者采用MDS算法,一个半定规划松弛的非凸问题算法,由梯度下降法定义。

结果

协议1是使用1,5,6,7,8训练,9,11评估,使用所有的相机参数,根关节对齐。

协议2与协议1区别在于只测试相机在面前的时候,即采取刚体变换使得进一步对齐。

协议3 使用1,5,6,7,8,9训练,11测试,只用前置摄像头

作者还对模型的鲁棒性进行了评测,包括不同的场景和不同的2D噪声,结果都表明,距离矩阵是一个不错的表达方式




上一篇:
下一篇:

头像

guodong

没有评论


你先离开吧:)



发表评论

电子邮件地址不会被公开。 必填项已用*标注