论文阅读：Disentangled Non-Local Neural Networks ECCV2020

non-local block可以强化模型的上下文能力。本文深入研究它的注意力计算，可以分成两部分。第一项是whitened得到成对象，表达两个像素之间的关系，还有一个是unray想，来表达每个像素的显著性。以前的注意力计算都倾向于两项一起联合训练，这样会限制表达，因此我们提出解耦这两项，单独进行学习。

Introduction

whitened pairwise项：描述一个像素和特定的其他像素之间的specially关系。
unary term：表达一个像素对所有像素的generally影响。

如图1的第二行所示，whitened pairwise项 学习清楚的区域内线索，而unary项则学习显着边界，甚至比单独训练每个项时学到的更为清晰。

我们使用DNL块，通过使用独立的soft函数和嵌入矩阵，对这两项进行解耦。

公式就不具体推导了：