guodong's blog

PhD@zhejiang university
   

论文阅读(8)SFV: Reinforcement Learning of Physical Skills from Videos

论文地址:https://arxiv.org/pdf/1810.03599v2.pdf

项目地址:https://xbpeng.github.io/projects/SFV/index.html

基于运动捕捉的数据驱动角色动画可以产生高度自然的行为,并且当与物理模拟相结合时,可以提供对物理扰动,环境变化和形态差异的自然程序响应。运动捕捉仍然是最受欢迎的运动数据来源,但收集mocap数据通常需要大量仪表化的环境和演员。在本文中,我们提出了一种方法,使物理模拟角色能够从视频(SFV)中学习技能我们的方法基于深度姿态估计和深度强化学习,允许数据驱动动画利用来自网络的大量公开视频剪辑,例如来自YouTube的视频剪辑。这有可能简单地通过查询所需行为的视频记录来快速简便地设计字符控制器。由此产生的控制器对于扰动是稳健的,可以适应新的设置,可以执行基本的对象交互,并且可以通过强化学习重新定位到新的形态。我们进一步证明,我们的方法可以通过从观察到的姿势初始化的学习控制器的正向模拟来预测来自静止图像的潜在人类运动。我们的框架能够学习广泛的动态技能,包括运动,杂技和武术。 (视频1)

Additional Key Words and Phrases: physics-based character animation, computer vision, video imitation, reinforcement learning, motion reconstruction

1 INTRODUCTION

数十年来,数据驱动方法一直是角色动画的基石,运动捕捉是最受欢迎的运动数据来源之一。 Mocap数据是运动学方法的主要内容,也广泛用于基于物理的角色动画。仿制mocap剪辑已被证明是开发模拟角色控制器的有效方法,产生一些最多样化和自然主义的行为。然而,获取mocap数据可能会给从业者带来重大障碍,往往需要大量仪器化的环境和演员。采购此类数据所需的基础设施可能令人望而却步,有些活动仍然非常难以进行动作捕捉,例如大型户外运动。更加丰富和灵活的运动数据源是单目视频。每分钟上传一段惊人的300小时视频[Aslam 2018]。在网络上搜索和查询视频源可以快速产生大量剪辑,用于任何所需的活动或行为。然而,从单眼视频帧中提取必要的运动信息是一项艰巨的挑战,而之前方法产生的运动质量仍远远落后于最好的基于mocap的动画系统[Vondrak等人2012]。

 




上一篇:
下一篇:

头像

guodong

没有评论


你先离开吧:)



发表评论

电子邮件地址不会被公开。 必填项已用*标注