内容纲要
这是一篇ECCV 2020论文
摘要
本文提出一个元学习器,显式的利用有关联的任务,在图网络上,描述他们输出维度(类别)之间的关系。图结构以前很少被利用。
作者提出了一种新颖基于prototype的元学习器,其中prototype的定义为,在所有prototype中搜索最邻近的邻居,然后生成更精确的分类。
GPN学习传播不同类别之间的prototype,这样学习到的每个数据能从其他有关类别活得收益。
同时,网络还是用一个注意力机制,用来选择聚合信息或当前类自身的信息。
在训练时,能够利用和更新以前的prototype。
Motivation
和传统的FSL相比,使用图结构主要的挑战来自类别的混合粒度,也就是说一个任务可能包含精细的类别也可能包含粗糙的类别。
方法
如图所示
g是一个门,用来选择当前的信息是从有关节点的信息传过来的还是从自身传播。
图结构中,每一个节点表示每个类别的prototype,我们使得每个prototype向其neighbor传播消息,同时,一个类别接受多个消息,使用不同权重进行组合然后更新prototype。
GPN学习一个注意力机制,用来
- 计算组合权重
- 门模块选择消息发送者
两个模块在不同任务之间共享,因此他们可以推广到整张图和未看见的任务。
受海马记忆播放机制和强化学习的启发,我们也保留了每个训练类别的记忆池化,这样在外来的训练任务中,可以重复利用,作为一个备份。
两个类别应该有着相似的prototype,如果他们相互close,同时,他们不应该相同,如果出现在同一个任务中,将会导致很大误差。
留言