内容纲要

这是一篇IIJCV的论文,和上一篇的研究的焦点类似,都是关于区域的匹配。

在大多数的已存在的基于图像内容的检索系统中,只有全局的特征被考虑,尽管他们容易实线,没有很多局限来建立语义目标和空间的关系. 本文提出一个基于区域约束的图像检索。和其他已存在的方法不同,他们独立的区域被使用或者只有一阶约束,我们提出了一个概率模型,同时建模一阶区域特性和二阶空间关系。具体来说,文章包含了图像分割,局部特征提取,一阶二阶约束,可能的区域权重估计。

Introduction

局部特征方法分成三类:分别基于 固定的layout,显著点,区域。其中基于区域的特征方法表现性能最好,因为和真实世界目标关系贴近。这种就是先用分割方法,把图像分割成几部分,然后计算区域的距离作为相似度,但是由于分割方法可能不准确,因此有人提出使用独立的区域,进法官多区域的query被允许,但是merging这些结果作为检索结果可行。这种方法对分割的鲁棒性较好。
另外IRM(昨天读的论文)受贪婪算法的影响,然后没有考虑空间的关系。使用贪婪算法会容易导致局部最小值,所有的子队列权重估计都不在可靠。
我们则同时考虑first-order约束(region特征)还考虑second-order约束(空间关系)。

Related works

关系:
file
图便是的话是:
file
IRM看昨天的文章。

Constraint Based Region Matching

我们则是同时考虑了位置关系和区域属性,在一个概率模型中估计权重。称为CRM。

Image Segmentation && Region Feature

Regional and Spatial Constraints

首先什么是一阶二阶信息:
一阶:目标object,比如tables 和 flower;
一阶:特定的区域:目标会添加上位置信息。 比如 floor is at the bottom
二阶:空间关系约束,比如a table is on top of a floor。这样的话,把两个目标都包含在内了。
然后作者对这些相似度进行了一系列定义:

  1. 区域属性约束:
    file
  2. 区域位置约束:
    file
  3. 空间位置约束:
    file

1阶的相似度:
file
2阶的相似度:
file

需要注意的是,这里一阶和二阶还可以包括其他特征,比如二阶的话可以是邻居,包含或者语义特征。使用这些的话,对平移旋转和尺度的变化就很鲁棒。这个实验中,4 5 8 9对平移,旋转和尺度变化无关, 7对平移和尺度无关,6对尺度无关。

Probabilistic Weight Estimation

刚开始以为内容无关,后来偶然看到它的那个图,感觉还是可以借鉴的。

我们将权重估计问题转化为一个概率框架,并以有原则的方式解决该问题。注意,两个实体之间的相似性可以解释为两个实体相似的概率。所有相似度范围都为0-1.因此可以被用来当作概率。记作x ~ y和x ~~ y分别是x和y在一阶和二阶约束上的匹配,则有:
file
其中等号上有个·表示 可以被估计。
等式11约束包含了两对匹配的区域,考虑所有的可能的有关的区域:file
file这个表示,区域ri和ri’在一阶上和二阶上约束下匹配的概率。因此有:
file
上述推导中的第三步,使用贝叶斯规则,在第四步中,假设区域对想读独立。
不同的目标可能有着不用的重要性,为了使得wij归一化成1,设置人为关注的区域qi到区域ri,我们进一步定义了归一化的全职哦那个wij为:
file
在我们当前的实线中,设置qi=1/M,或者动态调整。
整个CRM的方法为:
file

最后修改日期:2020年11月2日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。