内容纲要

c类期刊,粗略读读,具有批判思维。

Introduction

文章还是说到少样本分类分成两块:基于梯度的meta-learning和基于度量的meta-learning。
基于度量的meta-learning又可以分成非参数化的距离函数(欧式距离,余弦距离,马氏距离),和参数化的距离函数(如孪生网络,matching网络)。
作者指出非参数化的距离函数的缺点:

  1. 特征可以element-wise的比较,简单有效但是应用局限(为什么局限,没有说明)
  2. 当嵌入空间不是很精确时,表现能力会下降很快。(也就是说不够鲁棒性)
  3. (我印象中,非参数化的距离度量会更好一点,然后好多顶会论文都这样说。)

相反,使用参数化的距离度量,作为一个非线性化,不需要手动设计。同时,非参数化的距离函数可以作为一种特例。
以往的文章都是考虑局部的关系,而没有考虑特定任务的全局情况。

Motivation

通常由两种假设:相邻的样本更倾向于同一种类别;同一个manifold更倾向于同一个标签。第一个假设是从局部的观点,第二个则是全局。
以前很少的文章很少考虑全局。因此作者提出,local similarity作用域每一对样本,是任务无关的,global similarity作用在每个任务上,是任务特定的。

假设: ABC三个样本,AB相似,BC相邻。如果AC也相似,那么global similarity大,否则小。

Method

整体框架
file
局部相似度
file
全局相似度
首先计算file,通过计算得到dij值,可以认为是考虑整个任务中的相似度。
全局相似度为:file
目标函数:
局部:file
全局:file

说实话,这种损失函数第一次见,直接对相似度进行约束。

结果

file
69.14 ,比较低。参数化的距离度量不好用,不如全身心的做嵌入空间映射。
作者的出发点是好的,考虑整个任务中的相似度。但是全局相似度的定义有点粗糙,或许可以使用相似度传播的角度,进行约束,或者使用图网络。

最后修改日期:2020年10月12日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。