这是一篇CVPR2012的论文。
introduction
在现实生活中,有很多因素很影响源域和目标域之间的差异,比如光照,姿势等。因此源域的分类器可能在目标域中表现不好。现存的方法都是学习一个特征表达,对域不变的,他们经常不直接运用低维的结构
这些低维的结构是许多视觉数据集的内有属性。
在这篇论文中,我们提出一个新颖的基于核的很好利用这些结构的方法。我们的测地线流核模型将域迁移建模成对一个无穷数量的子空间进行求积分。这些子空间表征着几何上和统计上的属性变化,从源域到目标域上.
motivation
一个特征维度是不够具有区分度的,因此,什么类型的特征适合域适应,值得研究。
另一方面,许多视觉数据被认为位于一个低维的子空间,需要利用好这些低维的子空间来区分两个域之间的不同和共性。
因此我们提出:
第一个:测地线流
第二个:域排名,用来选择合适的域进行域适应,这在现实生活中很实用。
以前还有使用测地线流来推导中间的子空间,通过源域和目标域之间的插值。这两者的不通用是
前者采样了一个有限数量的子空间,然后把这些子空间堆叠到一个高纬度的投影矩阵,
我们的方法概念上和计算上都比较简单,同时还减少了对超参数的数量。
method
manifold
我们经常假设数据可以嵌入到低维的线性空间中。例如,主成分分析确定了线性空间,其中嵌入数据的方差被最大化。
大多数时候,有效和方便的使用基来表达线性空间。其中D是数据的维度,d是子空间的维度。对于PCA来说,基为协方差矩阵的top d的特征向量。
对于一个Grassmannian流形是一种黎曼流形,其中我们可以定义结合,求导和概率结构。
这些子空间的集合就组成了Grassmannian流形。
Subspaces by sampling geodesic flow (SGF)
具体而言,采样测地线流包含以下几步:
- 构建测地线流连接源域和目标域。
- 在曲线上采样一定数量的subspace。
- 将原始特征向量投影到这些子空间,然后拼接到特征超向量
- 对超向量降维 5.使用新特征构建分类器。
缺陷:不知道如何采样,需要设定很多参数。
Our approach: geodesic flow kernel (GFK)
我们的方法包含以下几步:
- 决定子空间的最优维度.
- 构建测地线曲线
- 计算测地线核
- 使用核和标签数据来构建分类器
其中重点介绍2,3. 1简介,4跳过, 因为其他分类器几乎都是这种方法。Construct geodesic flow
记作
为源域和目标域的子空间。定义
为Ps的正交不闯,意思是
。使用黎曼流形的典范欧式度量,测地线流被参数化为
,其中:
对于其他t而言:
其中,是正交矩阵,通过下列SVD对得到:
Γ和Σ是d*d的对角矩阵。对焦元素是cosθ和sinθ。具体来说,θ为Ps和Pt之间的主角。他们表示两个子空间之间的overlap。更一般的
Compute geodesic flow kernel (GFK)
测地线流表征了源域到目标域如何平滑的过渡改变。考虑子空间Φ(t),我们计算Φ(t)x,也就是说,把特征向量x投影到它的子空间。如果x来自于源域,同时t接近1,然后这个投影就像来自于目标域的投影。所以,使用这个投影来构建分类器将会导致模型使用一组特征,这个特征倾向于来自两个域的综合特征。因此,分类器将会在目标域上表现优异。
我们使用所有t,这样更具有鲁棒性。
对于两个特征向量,计算其投影,我们只需要计算他们的积分:
其中G是半正定矩阵,这个形式有点像内核技巧,其中和函数表示两个无限维度的特征。
G的闭集解:其中中间为对角阵,对角阵元素为:
证明在补充材料里。
维度的选择
这里计算三个子空间,然后使得子空间的主角的正弦值的和的平均值趋向于1.选择这样最小的维度作为最终确定的维度。直观上d越大越好,因为可以保留源域上的方差,这样对分类器友好。但是不应该太高,因为太高的话,两个子空间倾向于有着正交的方向。
留言