小样本学习登上Nature!【小样本学习+多模态】

- AMFAR框架基于元学习范式,包含元训练和元测试两个阶段。 - 在元训练阶段,首先使用特定于模态的背骨网络提取查询样本和支持样本的动作原型的多模态表示。 - 利用查询到原型的距离计算模态特定的后验分布,并采用Active Sample Selection (ASS) 模块,根据模态的可靠性将查询样本分组。 - 设计了Active Mutual Distillation (AMD) 机制,通过双向知识引导流在模态间传输查询到原型的关系知识,从而提高不可靠模态的表示学习能力。 - 在元测试阶段,采用Adaptive Multimodal Inference (AMI) 进行小样本推理,通过自适应地融合不同模态的后验分布,更多地关注可靠的模态。

  • 2024-09-12
  • 收藏0
  • 阅读75

方案详情

评价

评分 :
   *