内容纲要

影响PN的因素有两个,一个是intra-class bias,还有一个是cross class bias。作者提出了一种简单但是有效的方法们对于prototype rectification,使用transductive的设置。这篇文章利用transductive的方式,使用标签传播来减少类内bias和特征shift方式来减少cross-class bias。

Introduction

少样本由于样本少,通常提到的prototype会有偏移,这限制了PN的表达能力。
首先是CSPN— cosine similarity based prototypical network。然后引入一个bias diminishing模块进行rectification。

  1. 关于intra-class bias:期望的无偏prototype和实际计算的prototype之间的距离。
    为了减少这个距离,我们采取伪标签策略,把无标签样本使用transductive方式加入到support set,考虑到一些样本可能会被误分类,我们使用加权的sum作为prototype而不是直接进行样本平均。这样可以避免较大的bias。
  2. 关于cross-class bias:训练集和测试集表达向量之间的距离,通常作为平均向量表达
    为了减少这个bias,我们引入偏移项ξ到query样本中,驱动他们和suppor样本更相近的分布。

Methods

Cosine Similarity Based Prototypical Network

没什么好说的:
file

Bias Diminishing for Prototype Rectification

关于intra-class的定义:
file
其中Px’是一个确定类的所有数据的分布,Px是这个类别中,所有可得到的标签数据的分布。很容易发现两个分布的期望的不同。在少样本领域中,这个不同变得尤其重要。理想情况下,两者应该相近,但是实际上,少样本中,很难满足这个条件。
为了减少这个bias,采取伪标签策略来增强support样本,对齐临时的样本到无标签数据,根据他们的预测置信度。通过加入伪标签样本,我们计算新的prototype。简单的筛选topZ个置信度预测query样本,来增强support set S。因为伪标签样本可能会误分类,简单的进行平均会导致问题。为了计算新的prototype,我们使用更加合理的方式,即加权的sum作为精炼的prototype。我们记作x’为所有样本的prototype,则改观的prototype为
file
其中w为权重,暗示加权后的support set和basic prototype之间的关系:
file

The cross-class bias

指的是,supportset和query set之间的平均向量,是一个domain adaptation问题。因为support set和query set被认为是同一个domain,因为他们之间的距离是分布距离而不是domain距离。公式为:
file
在实际中,我们使用一个偏移项ξ:
file

Theoretical Analysis

理论分析还挺简单,能看懂。
第一个是为了征明,样本的数量越多越好
第二个是为了推导这个ξ是怎么来的。

Result

file

本文主要还是使用预选分类器选择置信度topz的伪标签,然后加入到support set中,然后加权求平均,权值为样本和原prototype的相似度(归一化)。然后是cross-class的分布差异,引入一个简单的项。

最后修改日期: 2020年10月21日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。