内容纲要

这是一篇CVPR2019的论文,讲的是流形相似度,深度图像相似度学习,同一类别的图像有着较高的相似度。对于学习,先前的工作都是特定的L2损失或者点积,尽管特征空间是非线性欧式空间。
我们的第一个贡献是使用流形相似度,确定一个N-pair损失。我们音符一个新的时间和记忆力均有效的流形相似度估计,使用一个闭集收敛方法:random walk算法。我们随机partition特征空间,然后通过子空间的表达来表达流形的相似度,ASA 代理。多随机分割产生多个代理,然后联合估计图像相似度。我们的第二个贡献是,通过估计hard proxies尽可能的接近另一个,减少过拟合,但是保留他们的表达的子空间。

Introduction

最近工作解决非欧氏空空间的方法:

  1. 对于流形距离,提出特定的损失函数。
    缺点: 这种方法使用Random Walk算法来估计测地线距离或相似度作为相似度。然而,在deeping learning中使用Random Walk非常困难,因为需要获得所有的数据,然而deep learning是通过小批次训练,另外,Random Walk需要迭代,增大了训练的复杂度。
  2. 将深度特征分成子空间,然后把数据投影倒这些子空间的张成空间上,最后在新空间上估计损失函数。
    缺点:这种方法主要涉及到新的嵌入空间的规范。例如,深度特征投影倒新空间,可能是one-hot vector或者proxies。这俩空间都是启发式的,无法端到端的学习。

对此,我们的贡献:

  1. 使用random walk的方法,在小批量数据,而不是所有训练数据,这样可以有效的计算闭集解,不需要很多次迭代。
    将训练数据集分成几部分,每一部分都代表元类。一个元类包含一个类别的一部分图像,或者一些不同图像类别的图像。我们把元类的表达当作图片的代理,等估计N-pair loss。当pair loss显著减少是,图像的triplet也会减少。 减少代理的损失,比直接减少图像的损失更能减少rank loss的上界,因此有效的强制我们所期望的图像关系的距离。
  2. 第二个贡献是提出新的算法:hard proxies、旨在估计渴望的距离关系的上确界。balabala看不下去

Manifold Similarity Estimation

论文其他部分就不看了,这里比较关注它的流形相似度的计算。
测量测地距离,小批量的端到端的测量,而不是使用所有训练数据。
使用random walk 算法,在最邻近图上。
file
其中S为向量相似度,D对角矩阵,元素D(n,n)等于S的第n行。为了避免顶点环形,我们手动将S bar的对角线元素设置为0。此时,对于每个图像xn,我们估计它的收敛的解集:
file
这个公式好熟悉,和图TPN里的标签传播怎么那么像

最后修改日期:2020年10月29日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。