guodong's blog

master@zhejiang university
   

论文阅读(14): Deep Kinematic Pose Regression

这篇文章属于比较经典的文章,是cvpr2016的论文。论文链接:https://arxiv.org/pdf/1609.05317

摘要:学习铰链式目标姿势本质上是困难的,因为姿势是高维的同时有很多结构的约束。作者通过建立一个运动模型,使用深度网络来生成铰链式目标姿势估计。运动函数定义在合适的参数化的目标运动变量。它是可微的,可以用梯度下降方法优化。

之前的一些方法通过PCA,空间编码,自动编码等实现降维,但这些基本多事线性的,不能很好地保留复杂的铰链结构约束信息。

这些目标的运动模型有着良好的先验知识,比如骨骼长度,骨骼连接点,关节旋度的定义等等。关于运动参数(旋转角度),定义一个连续的可微的运动学模型是可行的。整体框架如下:输入图像经过CNN和全连接层后,输出运动参数(全局位置和旋转角度)。运动函数将这些参数映射到关节,然后计算关节loss。使用端到端的网络可能会更好。

1、运动学模型

运动学模型包含一些骨骼和关节。对于人体,根关节时盆骨关节,根关节定义着人体的位置和全局方向。

设有J个关节,J-1个骨骼,li指骨骼长度,对于特定的目标,它们是固定的先验的。对于不同的物体,它们仅仅区别于全局尺度,这个尺度变换也是先验的,通过一个校准的过程。定义第i个关节的旋转角度为θi,运动学参数Θ包括全局位置P,全局方向o,和所有的旋转角度θ。定义一个函数 将Θ映射到y,其中y是所有关节的坐标。运动学函数可以定义在运动学树上,如图2通过迭代关系,最后通过下面的式子得到所有关节的坐标信息:其中Pa(u)是运动学树中u的父节点,O是齐次坐标的方向。对于3D运动模型,3轴均有值,每个关节可以有多个旋转。平移方向定义在规范的局部坐标系中,在局部坐标系里,所有运动学参数都是0。

作者还提到,对于人手,每个角度的2D界限使用先验的知识是可行的,因为所有关节最多有2个旋转角度,物理意义也很明确,但对于人体姿势,角度约束不是独立的,取决于姿势,很难公式化,这个作者将其作为以后的工作来解决。

2、网络结构

作者设计了3条方法。其中两条为baseline,如下图:这三个方法共享同一个backbone,最上面的称为direct joint。网络直接输出所有的关节,但是一些关节可能是无效无意义的,可以通过模型拟合来恢复到正确的位置。中间的称为运动学关节:Kinematic Joint,也就是论文提出来的方法。前两种方法的损失函数都是使用欧氏距离损失。最三个是Direct Parameter,直接输出运动学参数,作者说这个表现不是很好,因为不同参数区别很大,很难做到平衡,不同关节的影响力度不同,比如根关节的影响最高,齐次对于铰链目标,关节角度到关节坐标的映射不是一对一的,而是模糊的。相反,关节位置却很明确,能很好地表达和计算。

3、实验部分

作者使用运动学模型估计人体姿势时遇到两个问题:a toy problem 和 使用single RGB。

3.1 a toy problem

如图所示输入图像是生成的二值图像,从3维的运动学参数 ,其中xy是图像中根关节的坐标,归一化到0-1,θ是每个骨骼和垂直线之间的夹角。使用5层CNN,图像分辨率为128*128,骨骼长度为45像素。使用上面提到的三种方法来预测,其中direct joint最差,太差了以至于作者更改了模型,增加模型复杂度,比如上图的第一行是只有3个运动学参数的情况,第二行中level2,3,4分别有6,8,10个运动学参数,复杂度依次变高。loss如下图:可见当模型复杂度增大时,我们的运动学模型在两个loss上都趋向于稳定。

3.2 D Human Pose Regression

作者遵循human3.6M协议,定义17个关节,27个运动学参数,根关节是pelvis,上面为neck关节,可以在root关节旋转平移,nect和root下之间的部分为躯干,没有运动参数。pelvis和neck的方向决定肩膀位置,通过固定的骨骼变换决定hip位置。每个shoulder、hip有三个旋转角度,elbow和knee有1个旋转角度。neck上也有三个旋转角度for nose和head的方向。(dof 自由度)

作者发现GT的骨骼长度都非常相近,所以作者就取了他们7个实验者的的平均值。每个subject都赋予一个全局尺度,尺度通过骨骼长度和除以骨骼长度平均值,训练的过程中保持不变,在测试时,因为是未知的,所以简单的将其设置为1。

输入图像resize成224*224,为了保证宽高比,我们使用边框填充。

作者使用了50层的残差网络,imageNet的预训练网络。预测结果:




上一篇:
下一篇:

头像

guodong

说点什么

avatar
  Subscribe  
提醒