本文主要是解决mini-batch的采样问题，不能精确的定位嵌入空间的全局几何。从图分类的角度出发，提出了一种新颖的基于代理的深度图度量学习（ProxyGML）方法，该方法使用更少的代理，但可以获得更好的综合性能。
introduction
DML的核心思想是学习一个嵌入空间，在该空间中，相似样本的嵌入向量彼此接近，而不同样本的嵌入向量彼此远离。
难样本挖掘：以处理样本问题。从本质上讲，这些策略仍然从整个训练数据集的子集（小批量）中选择难样本，这些样本无法准确地描述嵌入空间的整体几何形状。
另一种类型的方法会全面考虑避免此类抽样问题。一个代理不能足以表达复杂的intra-class方差，例如pose和shape。基于此，有人提出学习一个潜在examples，使用多种不同的distortions。另一方面，基于类别的loss可以避免采样问题，直接通过全连接层来拟合数据分布。然而，以前提到的方法，都平等的对待每个raw数据点，通过所有的参考点或者类特定的参数，因此难以捕捉数据点之间具有表达力的关系。
在本文中，我们提出了一种新颖的基于代理的深度图度量学习方法，称为ProxyGML，从图分类的角度来看，它使用更少的代理来实现更好的综合性能（参见图1）。首先，与ProxyNCA相反，我们用多个可训练的代理表示每个类，以更好地表征类内变异。其次，构造一个有向相似度图，以模拟微型批处理中所有代理和原始数据样本之间的全局关系。 第三，为了捕获每个原始数据点的信息性细粒度邻域结构，通过自适应地选择少量信息性代理，将有向相似性图分解为一系列k最近邻子图。 第四，这些子图根据其相应的样本标签进行分类。 特别地，受标签传播（LP）的想法启发，我们设计了一种新颖的反向LP算法，以借助已知标签来调整每个子图中的邻居关系。 最重要的是，代理和子图协作以捕获原始数据样本之间的全局和局部相似性关系，从而可以以有效和高效的方式学习判别性度量空间。
method
定义
mini-batch 
，其中x表示图像，y表示label，上标s表示训练数据，下标M表示mini-batch中有M个训练样本。同时定义代理集合：
，其中proxy的标签为onr-hot矩阵。如图2所示，所有集合输入到网络中：
Relation-Guided Graph Construction
确保每个数据样本都接近其相关的正代理，而远离其负代理。考虑到图擅长建模全局数据亲和力，我们建议使用图来表征样本之间的整体邻居关系。这些图立即用于建议的反向LP，在此期间，代理节点的标签信息将根据相邻相似性以一定的概率分数传递到样本节点。
构建有向图
在流形学习中和基于图的中，都是使用高斯相似度：
，其中d是欧式距离，σ是尺度参数，对于不同的σ，邻居结构表现不同，使得选择σ比较困难。基于此，我们直接利用余弦相似度有效的捕捉相似度。因此，使用
其中，x都是归一化的长度，这样Sij范围属于-1，1.
构建k-NN个子图
每个样本可以进一步构建成一系列的子图。更好的捕捉精细的图结构。一个通用的做法是保持k-max的值，来构建k个最邻近子图。
具体而言，我们的proxy是随机初始化的，这导致这种方法不可行。因此提出一个mask，从标签里产生，反应真实的相似度关系：
在这种指导下，计算
中每一排的前K最大值
，然后表达了邻接矩阵。
Reverse Label Propagation
每一个重建的子图都反映了一个流形结构，其中数据点相同的应该是位于相互靠近。传统的LP利用流形的优点来推导未知的标签。想法你，我们通过标签来反向的调整流形的结构。具体的，手电将所有的子图w编码成预测的输出Z：
如图3所示，表示了流形结构如何进化，当分类损失优化Z时。图3a的六型结构包含一个样本和对应的7个proxy，也就是说有4个正样本和3个非负样本。该样本的类别信息通过这7个proxy影响。在反向传播后，正样本将会被推进这个样本，通过负样本会被推开如图3b。最终，我们希望一个最优的流形结构，如图3c所示，所有的样本都环绕着它所对应的正proxy，也就是局部的聚类中心。这个结果和DML的目标像一只
基于分类的优化
如图2所示，预测z通过softmax后转变成预测分数P，然后通过ce损失优化。最终，P中的每个元素都反应了样本和proxy之间的相似度。
分类损失
实际中，Z是一个高度离散的，因为小的K，这样如果使用传统的分类器，便会导致一个膨胀的分布，不能编码子图的预测。因此我们提出了一个新颖的mask softmax函数来阻止零元素参与损失计算：
然后输入到交叉熵分类中。
proxy的正则化
把其中一个当作样本，另外的当作proxy，重复上一个过程，不一样的是，因为要保证全局，所以这里不需要进行K-NN的子图构建。最终的损失函数为两者的和。
留言