内容纲要

摘要:弱监督对象检测旨在根据给定的图像类别标签学习精确的对象检测器。 在最近流行的作品中,通常将这个问题表述为由图像分类损失指导的多实例学习模块。 假定对象边界框是所有提议中对分类贡献最大的一个。 但是,贡献最大的区域也可能是物体的关键部分或支撑环境。 为了获得更准确的检测器,在这项工作中,我们提出了一种新颖的端到端弱监督检测方法,其中新引入的生成对抗性分割模块与常规检测模块以协作循环的方式进行交互。 协作机制充分利用了对弱监督的本地化任务(即检测和分割任务)的互补解释,从而形成了更全面的解决方案。 因此,我们的方法可以获得更精确的对象边界框,而不是零件或无关的周围物体。 可以预期,该方法在PASCAL VOC 2007数据集上的准确度达到53.7%,优于最新技术,并证明了其在弱监督对象检测方面的优越性。

基于MIL的对象检测方法和语义分割方法侧重于约束弱监督的本地化的不同方面,并且具有相反的优点和缺点。 基于MIL的物体检测方法可以精确地区分物体相关区域和不相关的周围环境,但由于过度关注重要区域,因此倾向于将整个物体与零件混淆。 同时,弱监督分割能够覆盖整个实例,但往往会将不真实的环境与真实对象混合在一起。 表1证明了这种互补性,即分割可以实现较高的像素级调用,但精度较低,而检测可以达到较高的像素级精度,但调用率较低。 二者不是自然而然地合作,而是可以合作克服自身的内在弱点。

在这项工作中,我们提出了一种分割检测协作网络(SDCN),用于在弱监督下进行更精确的对象检测,如图1b所示。 在建议的SDCN中,检测和分割分支以协作的方式相互促进。具体来说,分割分支被设计为生成对抗性的本地化结构,以描绘对象区域。检测模块以MIL方式进行了优化,将获得的分割图用作对象建议的空间先验概率。 此外,对象检测分支还通过从所有投标框及其分类得分生成的综合热图,向分段分支提供监督。 因此,这两个分支彼此紧密地相互作用并形成动态协作循环。

总而言之,我们在本文中做出了三点贡献:1)分段检测协同机制在两个相辅相成的任务之间加强了深度合作,并在弱监督的环境下加强了对彼此的宝贵监督;  2)对于分割分支,新颖的生成对抗性定位策略使我们的方法能够生成更完整的分割图,这对于改善分割和检测分支均至关重要。 3)如第4节所示,我们在PASCAL VOC 2007和2012数据集上取得了最佳性能,超过了以往的状态。

所提出的分段检测协作网络(SDCN)的总体架构如图2所示。

该网络主要由三个部分组成:骨干特征提取器fE,分段分支fS和检测分支fD。 对于输入图像I,其特征x = fE(I)由提取器fE提取,然后分别馈入fS和fD进行分割和检测。 整个网络由分类标签y = [y1,y2,···,yN]∈{0,1} N(其中N是对象类别的数量)引导,其格式为对抗分类损失和MIL目标。 额外的协作损失旨在以协作循环的方式提高两个分支的准确性。

Detection Branch

就是OICR和WSDDN

Segmentation Branch

为了确保分割图S精确地覆盖整个对象区域,设计了一种新颖的生成式对抗策略,将其作为分割预测器fS和独立图像分类器fC之间的对抗训练,分别分为生成器和判别器,如图所示 在图2中。生成器fS的训练目标是通过掩盖对象区域来使fC误分类,而鉴别器fC的目的是消除擦除区域的影响并正确预测类别标签。 固定fS和fC中的一个,来优化另外一个。

首先,固定fc时,优化分割分支 fS。总体来看,fS分支的损失是每个class的损失之和:

是分割图的第i个通道的损失,包含对抗损失和分类损失

如果第k个类别是正的前景类,那么分割图sk应该完全覆盖第k类,但是和其他类的区域不能覆盖。换句话说,对于一个精确的sk,只有当目标区域被sk覆盖时,才能被分类为第k类,同时它的互补区域不应该是。用公式化描述:

*表示元素级别乘法。第一项是生成的分割图覆盖的目标区域,例如,I*sk,应该通过分类器fc被识别为第k类,而不和其他类对应。第二项是和第k类有关的区域 ,比如I*(1-sk),分类器fc应该不识别为k类同时不影响其他类别。在这里,我们注意到通常可以将蒙版应用于图像I或分类器fC的任何层的输入,并且由于fC是固定的,因此等式中的损失函数为。仅惩罚分割分支fS。

如果第k个类为负前景类,则sk应该为全零,因为此前景类没有实例。 这由响应约束项来约束。 在这个项中,每个图谱sk的前20%响应像素被合并并平均,以通过二进制交叉熵损失优化了分类预测,如下所示:

如果第k类被标注负样本,强制使20%平均池化sk接近0,也就是说,sk的所有元素应该接近0。但是,当第k个类为正时,上述损耗也适用,avgpool20%sk应该接近1。

背景被视为特殊情况。 在等式中 (11),虽然标签〜y和ˆy不涉及背景类别,但背景分割图sN + 1也适用于其他类别。 当sN + 1乘以等式11中的第一项时,目标标签应为全零y〜= 0; 当在等式11的第二项中将1-sN + 1用作掩模时,目标标签应与原始标签ˆy = y完全相同。 对于等式 (12),我们假设背景区域始终出现在任何输入图像中,即所有图像的y(N + 1)= 1。

最后损失转变成:

两个λ参数是平衡权重。

根据对抗方式,固定分割分支fs,通过下面的公式来优化分类器:

目标LC由分类损失和对抗损失Ladv组成。分类器fC的目标应始终为y,因为即使sk被屏蔽,它的目的也是要挖掘出剩余的目标区域。

我们设计分割分支的想法与[31]有着相同的对抗精神,但与[31]相比,我们的设计效率更高,后者针对一个分割图反复执行多个前向通过。同时不必像[31]那样确定重复次数,因为不同的对象可能会有所不同。

Collaboration Mechanism

动态协作循环旨在补充检测和分割,以实现更准确的预测,即既不会覆盖背景,又不会缩小到退化为对象部分。

Segmentation Instructs Detection

如前所述,检测分支很容易过拟合有区别的部分,而分割可以覆盖整个对象区域。 因此,自然而然地,通过使具有较大IoU的提案与相应的分割图具有更高的分数,可以使用分割图来完善检测结果。 这是通过在方程式2中重新加权实例分类概率矩阵Dm来实现的。在检测分支中,通过使用如下源自分割图的先验概率矩阵Dseg.

其中,Dseg表示第i个目标提议和第k个分割map的连通区域。Dseg通过下式生成:

skj表示在分割图sk下的Tc阈值下第j个连接组件。常数τ0为分段分支增加了容错能力。 Dseg的每一列均通过其最大值进行归一化,以使其范围在[0,1]之内。

通过重新分配权重,仅关注局部零件的对象建议分配了较低的权重,而那些精确覆盖对象的建议则脱颖而​​出。 使用连接的组件来减轻多实例发生的问题,这对于弱监督对象检测是困难的情况。 为解决此问题而设计的最新TS2C [32]客观性等级也已代替具有连接组件的IoU进行了测试,但在我们的案例中没有优势。

重新加权的概率矩阵ˆDm替换方程式3中的Dm。进一步指导MIDN:

其中,Yˆ r表示从ˆDm衍生的伪标记,如方程式4中所示。 。 最后,等式中检测分支的总体目标如下所示:

Detection Instructs Segmentation.

尽管检测会不产生很多覆盖整个object的boxes,但是能够有效的区分背景和前景。为了指导分割分支,生成了一个检测热图Sdet∈[0,1](N + 1)×h×w,这可以看作是分割图的模拟。 每个通道sdet_k对应于第k类的热图。 具体来说,对于正类别k,每个提案框将其分类得分贡献给该提案中的所有像素,从而通过以下方式生成sdet_k:

而与负类别相对应的另一个sdet_k设置为零。 然后,通过其最大响应将sdet_k归一化,并且可以简单地将背景热图sdet_N + 1计算为前景的互补集,即

为了为每个像素生成伪类别标签,首先通过获取每个像素的最大值的参数来离散化软分割图Sdet,然后保留每个类别的前10%像素,而忽略其他不明确的像素。 生成的标签用ψ(Sdet)表示,指示性损失的公式如下:

因此,等式中整个分割分支的损失函数。 现在更新为

Overall Objective.

简而言之,上述目的以端到端的方式进行了优化。 与大多数对抗方法一样,图像分类器fC也可以通过损耗LC进行优化。使用梯度下降可以很容易地进行优化。为了清楚起见,算法1中总结了SDCN的训练和测试.

在测试阶段,如算法1所示,仅需要特征提取器fE和细化模块fDr,这使我们的方法的效率高达[25]

最后修改日期:2020年3月23日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。