博客重启
随着443端口突然解封,最终也有心情重新写起《论文阅读》系列了。
回首去年,搞了少样本学习,然后是无监督少样本学习,现在是域适应少样本学习。
少样本学习中了ICCV 2021. 然后无监督少样本学习正在冲ICML,从reviewer结果来看,感觉希望很大,虽然ICML会议改革了,但是也能猜出个大概。希望一个月后,i.e., 2022/5/14,能有好运。
今天阅读的论文是《Causality Inspired Representation Learning for Domain Generalization》CVPR 2021 。
Summarize
这篇文章主要是从因果的角度来解决预泛化的问题。域泛化需要我们不仅仅学习到统计关系,同时还有
隐含的因果关系。作者希望使用SCM来抽取数据和标签之间的因果机制,以此来提高泛化能力。将标签有关的变量作为因子变量,无关的变量作为非因子变量。然后对这些因子变量做了三条属性假设。1)它和非因子分离,2)因子的因式分解应该是联合独立的。3)分类任务是因果充分的。作者提出CIRL来使得学到的表征满足上述3点要求。
具体方法是:对于每个输入,作者
- 应用一个因果介入模块将因果因子S和非因果因子U分离。采取使用不同的S但是相同的U生成数据d的方式,这样能得到不变的特征。
- 作者提出了一个因式分解模块使得每个维度联合独立,能够被用于近似因果因子。
- 为了使因子对于分类有充分性,作者设计了对抗模块,迭代检测每个维度是否包含少量的因果信息,强制让他们包含更多或者新颖的因果信息。通过对抗学习 masker和表征generator中。
Methods
两个准则:
- 共因准则。如果两个变量X和Y统计上不独立,则存在一组变量S同时影响X和Y,并能解释所有依赖,在以S为条件时,可以使得X和Y独立。
- 独立因子机制准则。对于每个变量,给定它的原因(机制)后的条件分布,不能了解或者影响其他变量(机制)。
利用准则1,作者构建了一个结构因果模型:。其中X,Y分别是图像和标签。U是非因子因素,仅仅影响X。V1 V2是独立噪声。f,h,g是未知的函数。对于任何分布,如果给定S了,则存在一个一般的条件分布P(Y|S),也就是不变性。如果我们知道了因子因素,则很容易获得好的泛化性。然而,S未知,我们仅仅只有图像X。同时直接重建因果因子和机制不太现实,因为他们未观察到的,是被ill-defined的。此时可以准则2.
准则2告诉我们,对于所有因子因素的集合,如果我们改变了一个机制P(s_i|PA_i)则不会改变其他机制P(s_j|PA_j),同时即使知道了其他机制,也不会告诉我们现在的机制。也就是说,因果分解:。(其实这个就是条件概率联合分布)
因果表征学习
整体框架图我就不贴了。
因果介入模块
这个模块主要是为了将因果因子和非因果因子区分开。这个比较困难,可以通过一些技术解决,比如傅里叶变换,相位保留了高阶的语义特征,而幅度则是低阶的统计。因此,作者调整了幅度保留了相位。
给定原图像,我们首先使用FFT计算变换或反变换,然后通过线性插值调整幅度,反变换得到图片。然后强制训练g,使得通道-wise保持不变,使用COR函数,相关系数最大。
因果分解模块
计算每个维度的内积,然后使得内积取向为0,这样保证特征维度联合独立。这样还能减少计算量。
对抗mask模块
简单的利用公式11不能保证我们学习到的维度都重要,也就是说不能包含足量的潜在因果信息。具体而言,可能存在劣质维度,它们携带的因果信息相对较少,然后对分类的贡献很小。因此作者提出了检测这些维度,并且强制让他们做更多贡献。因为这些维度需要联合独立,检测的维度包含多个或新颖的因子信息,这些没有被其他维度包含,这将使得整个表征具有充分性。
为了检测这些低劣的维度,作者设计了对抗模块。建立了一个神经网络mask,学习每个维度的贡献程度,记作w^帽子。维度最大的k会被认为是最有贡献的。然后将mask乘以到特征层中。输入到两个分类器中,其中h1是优越的分类器,h2是差的分类器,这样减少好的分类损失,同时增大差的分类损失。通过这种对抗学习,则能选择出最优的特征。
留言