内容纲要

non-local block可以强化模型的上下文能力。本文深入研究它的注意力计算,可以分成两部分。第一项是whitened得到成对象,表达两个像素之间的关系,还有一个是unray想,来表达每个像素的显著性。以前的注意力计算都倾向于两项一起联合训练,这样会限制表达,因此我们提出解耦这两项,单独进行学习。

Introduction

whitened pairwise项:描述一个像素和特定的其他像素之间的specially关系。
unary term:表达一个像素对所有像素的generally影响。

如图1的第二行所示,whitened pairwise项 学习清楚的区域内线索,而unary项则学习显着边界,甚至比单独训练每个项时学到的更为清晰。
file

我们使用DNL块,通过使用独立的soft函数和嵌入矩阵,对这两项进行解耦。

file
公式就不具体推导了:
filefile
file
file

最后修改日期: 2020年10月21日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。