guodong's blog

PhD@zhejiang university
   

论文阅读:Multiple Instance Detection Network with Online Instance Classifier Refinement(cvpr2017)

摘要:弱监督的目标检测在识别中非常重要。 基于深度学习,弱监督的检测器已经取得了许多有希望的结果。 但是,与完全监督的检测相比,以弱监督的方式训练基于深度网络的检测器更具挑战性。 在这里,我们将弱监督检测公式化为多实例学习(MIL)问题,其中实例分类器(对象检测器)作为隐藏节点进入网络。 我们提出了一种新颖的在线实例分类器细化算法,以将MIL和实例分类器细化过程集成到单个深度网络中,并仅通过图像级别的监督(即没有对象位置信息)来端对端地训练网络。 更准确地说,从弱监督中推断出的实例标签将传播到其空间上重叠的实例,以在线精炼实例分类器。 迭代实例分类器细化过程是使用深层网络中的多个流来实现的,其中每个流都对其后一个流进行监督。 在具有挑战性的PASCAL VOC 2007和2012基准测试上进行了监督不足的对象检测实验。 我们在VOC 2007上获得了47%的mAP,大大优于以前的最新技术。

本文:1)我们建议通过显式分配二进制实例标签来在网络中添加一些块以学习更多的区分性实例分类器,而不是通过加权和池来估计实例权重; 2)我们建议使用空间关系在线细化实例分类器。

我们的动机是,尽管某些检测器仅捕获部分对象,但与检测到的部分具有较高空间重叠的建议可能会覆盖整个对象,或者至少包含对象的较大部分。 在[4]中,Bilen和Vedaldi通过强迫得分最高的区域及其相邻区域的特征相同,提出了空间正则化器,这显着提高了WSOD性能。 但是,强制在空间上重叠的提案具有相同的特征似乎过于严格。 我们认为,在空间上重叠的提案的特征在同一流形上,而不是受到严格的约束

然后,这些重叠的提案可以共享相似的标签信息。 如图1(右)所示,除了A的标签信息可以传播到与A重叠较大的B和C之外,然后B和C的标签信息可以传播到D以正确定位对象。 为了实现这个想法,我们在[4]的网络中设计了一些实例分类器。 实例的标签可以通过它们在空间上重叠的实例进行细化。 我们将此新网络结构命名为带有实例分类器的多实例检测网络(MIDN)。

我们的方法在不同阶段具有多个输出流:第一个是用来训练基本实例分类器的MIDN,而另一个是优化分类器的方法。 为了在网络上细化实例分类,在SGD进行正向处理后,我们可以获得一组proposal分数。 根据这些分数,对于每个阶段,我们都可以将得分最高的proposal其在空间上重叠的proposal标记到图像标签上。 然后,这些建议标签可以用作下一步训练实例分类器的监督。 尽管得分最高的提案可能仅包含对象的一部分,但其相邻的提案将覆盖该对象的较大部分。 因此,可以对实例分类器进行细化。 多次执行细化程序后,检测器可以逐渐发现整个对象而不是部分,如图2所示。但是在训练开始时,所有分类器几乎都未经训练,这会导致非常嘈杂的监督精细分类器,然后训练将大大偏离正确的解决方案。 为了解决这个问题,我们通过在不同的训练迭代中为不同的proposal分配不同的权重来进一步设计加权损失。 使用这种策略,所有分类器优化程序都可以集成到单个网络中,并经过端到端训练。

方法

我们的方法的总体架构如图3所示。给定一张图像,我们首先通过选择性搜索[29]生成大约2000个对象建议。 图像和这些建议通过空间金字塔池(SPP)层被馈送到一些卷积(conv)层[14],以按提案生成固定大小的conv特征图,然后将其馈入两个完全连接的(fc) 层以生成建议特征向量的集合。 这些特征分为不同的流,即不同的阶段:第一个是用来训练基本实例分类器的MIDN,其他则是训练分类器的MIDN。 具体来说,对精炼机精制的监督是由其先前阶段的输出决定的。

Multiple instance detection network

如前所述,实例分类器的最高评分提案及其邻近提案可以在其图像标签上标记为监督。 因此,我们首先介绍我们的MIDN以生成基本的实例分类器。 有许多可能的选择[4、7、16、31]来实现。 在这里,我们选择Bilen和Vedaldi [4]的方法,该方法提出了一种加权池策略来获取实例分类器,以提高其有效性和实现便利性。 注意,我们的网络独立于特殊的MIL方法,因此,可以端到端训练的任何方法都可以嵌入到我们的网络中。

Online instance classifier refinement

 




上一篇:
下一篇:

头像

guodong

没有评论


你先离开吧:)



发表评论

电子邮件地址不会被公开。 必填项已用*标注