内容纲要

这是一篇CVPR2019的论文,讲的是数据增强一方面

摘要

解决少样本的方法:1 鲁棒的相似度表达,2 生成or幻化额外的数据。这篇论文则是第二个。我们提出一个新颖的花费少的幻化方法,利用显著性图。应用一个显著性网络来获取前景和背景,随后将结果图输入到two-stream的网络来幻化数据集。是第一个利用显著性网络的论文。

Introduction

我们应用一个显著性网络,预训练的。随后输入到mixing网络,嵌入到二阶表达。然后,我们计算最后的quey样本和support样本之间的相似度。此外我们还正则化了前景和背景对,通过L2正则化,靠近真实的的前景和背景对,我们将这种策略成为TriR。最后,我们提出基于相似度的策略,关于对特定的前景如何选择背景。这样,我们可以表现intra-class混合或inter-class混合。
file

Methods

如图所示,网络包含三部分。Saliency net用来生成前景假设 FEMN用来结合前景背景对,SimNet用来学习query-support之间的相似度。

Overview

给定输入图像I,显著性h(I),得到前景F,背景B。则
file
特征编码包含两部分,f和g。首先对于FI BI,通过特征编码,然后求和,通过编码器g进行精炼。使用g的外籍和softmax来解决burstiness:
file
其中大写的ψ为0中心的softmax,来控制曲线的规模。
file
使用MSE来训练网络:
file
其中r为相似度网络,δ为冲激函数。

Data Hallucination

额外的数据点通过混合前景和背景来得到。定义s_nw为选择第n个类别的第w个图像,q为选择的第q个query图像

  1. Intra-class hallucination
    如图所示,值得注意的是,这种策略对one-shot的设置不行,因为每个类别只有一个样本。
    file
    这种混合策略带来的噪声来源:标准的显著性图,前景背景的混合。为了解决这个问题,我们使用同一张图产生的背景和前景组合(即组合成原图)和不使用hallucination的产生的特征向量接近。
    file
    我们把这种称为真实图像表达的正则化。带✳的L为原始数据集,带 * 的g为已经训练好的网络。
  2. Inter-class hallucination
    这种策略下,我们混合support图像的前景和所有可能背景,这种情况下,会产生很多很多样本,但是这些不一定有用,如图所示。
    file
    为了排除不合理的组合,我们设计了一个相似度先验,给定的前景,赋予兼容的背景的可能概率。使用标签信息,比较直观,但是会修是一些可能组合,比如车在马路上跑,狗也可以。因此,我们忽视标签信息,而是使用背景检索。具体而言,一点support 图像的所有背景被提取,我们计算snw的背景和其他所有背景的距离,然后赋予相似度:
    file
    其中公式9与α的关系如图所示:
    file
    这种情况下的组合,如图所示
    file
    我们提出了soft similarity prior(SSP)
    file
    同时还有另外一种方案 Hard Similarity Prior (HSP)
    file

结果

file

感觉工作量还是蛮多的,虽然最后的准确度分数不高并且还只是数据生成/幻化,不愧是CVPR。可以借鉴的地方有距离度量函数(图7),还有特征融合时,采用的正则化的思想,还有融合的时候,关于特征的选择。

最后修改日期:2020年10月15日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。