内容纲要

这是一篇CVPR2012的论文。作者提出了一篇特征匹配算法,利用自上而下的分割,和其他的image-to-image或region-to-region的匹配方法不同,我们的方法找到对应的点,以不对称的方法,一个图像是分割图像,另一个图像是未分割图像。使用动态规划的方法,有效的搜索每个区域对应的点,用来最大化级和一致性和外表相似度。两图的匹配分数,通过匹配的对应点的确定。我们的几何一致性的编码对于非刚体变化或intra-class外表差异鲁棒性很好。

Introduction

使用Point-to-point的方法,局部算子(SIFT)适合匹配任务,因为特征对局部覆盖光照改变和杂乱鲁棒。这些基于外表的特征匹配会产生一些噪声的皮队,当单独使用时。因此,额外的几何一致性被提出用来选择连续的匹配点,在一些初始的匹配点中。
然而,对于一般的类别,几何一致性不够确切,正确的迁移可能非全局的,使得这些参数化的玉树对于类别级别的匹配不够有效。(比如,对长颈鹿的匹配,或者船只的不同模型)。相反,非参数话的方法,识别一组匹配,有着最小的几何失真可能更好。除了测量整个图像的准确度外,最终的结果对两个视角的定位也比较有用。
然而,当前的技术有两个大的局限,

  1. 关于distortion的预计算,对于所有参与的匹配对来说,计算量很大,对致密的样本不可取。结果,很多方法都约束较强的几何一致性方法到特征的离散采样集合(例如局部最大值或边界点),这时类别级别匹配的较弱的表达。很多证据表明,致密的特征更好。
  2. 非参数化的方法使用成对的度量,识别一组对应的点,基于常见的变换。但是对于真实图像,可能每个部分都是都是非刚体,或者一个图片中有多个目标,则可能会是一个不同的变换,暗示我们应该识别一组对应的点,这些组都有一个不同的几何配置。

我们提出一组致密的特征匹配算法,使用bottom-up的分割来比较一般的目标,使用非参数化的几何一致性。我们方法是使用两个图像作为输入,然后返回他们的相似度分数,一个输入是通过分割,另一个是未分割。匹配机制,开始时找到对应的点,分割图像的每个区域的点和未分割图像的子集点,同时对于每一对的region-to-image匹配组来说,使用动态规划方法有效的强制layout一致性。然后进一步评估这些对应组的并集,以了解它们相互之间的几何一致性,这时我们倾向于对每个分割区域进行低失真匹配,同时允许原始图像的分割区域之间的变形更大。
我们称此为非对称,因为只有一个输入图被分割成区域,它组内的点可以匹配另一张图的任意的部分。这种不对称的方式会有用:我们获得了低级分割的组合能力来组装点的候选区域,但不会受影响,这种影响是必然的自下而上的可能会为同一对象的两个图像生成不兼容的区域。
file

Related works

通过表达几何关系,在邻接的点中的一个区域内,使用多“string”。我们可以捕捉足够的layout信息,并且只有很小的计算量。
作者一一找到其他人的方法的缺点。

Method

Region-to-Image Point Matching

首先使用使用分割,然后提取SIFT特征,然后把2D layout使用1D string来表达,每个区域有两个string,一个时Colum-wise还有一个是row-wise的string。在column-wise的。从区域内的左上角点出发,然后沿着一列,连接到最邻近的点,当达到这一条列的末尾时,末尾节点来年街道下一列的最邻近点,我们重复这个过程,直到最后一列。同样,我们得到row-wise的1D string。
对另一个图像来看,我们首先找到一组候选的匹配点,通过SIFT算子距离。给定一些候选匹配,我们通过DP来减少cost函数。如图2所示,我们获取row-wise的丽娜姐string和column-wise的link string,把对应的匹配对当成region-to-image的匹配。

代价函数

file
该代价函数包含皮队的项数:G O A D。每一项都有赋予的权重(wg,wo,wa,wd)。十几日P时固定的,我们优化M的选择。

  1. geometric distortion
    file
    表示成对的体积变形。这样使得相邻匹配点有着相似的变形。
  2. ordering constraint
    惩罚对应项,当违背几何顺序。比如,如果pk在pk+1的左边,则它的匹配点的mk应该在mk+1的左边。
  3. appearance similarity
    file
    f未SIFT算子, 其他参数都是调整系数,为了和其他代价函数匹配。
  4. displacement constraint
    file

然而,可能有一些点无法很好的匹配,因此,我们还插入‘null match’候选到每个候选集Ck。如果null match被选择,意味着联系的点没有实际对应的点。对于每一项mk或mk+1是一个null match,则等式1的cost value被设置成固定的值,这个值一般都比较大。
对于每一个Pi,我们使用DP算法来减少等式1.

Scoring

前面的代价函数,只是为了寻找匹配点。得到一组匹配点后,接下来就是计算图像之间的相似度了:
file
其中:
file
file
其中如果前后两点是同一区域,则ak设置大点,意味着容忍较小的几何变形,如果是不同区域,则ak设置小,容忍较大的几何变形。
然后是对Wi的设置:file
其中|ci|是点Pi的初始匹配点,N2是未分割图像的全部数量。

最后修改日期:2020年11月3日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。