腾讯基于预训练模型的文本内容理解实践

预训练已经成为自然语言处理任务的重要组成部分,为大量自然语言处理任务带来了显著提升。本文将围绕预训练模型,介绍相关技术在文本内容理解方面的应用。更具体的,本文会首先对已有的经典预训练工作进行回顾,帮助大家理解预训练模型以及不同模型之间的差异;然后介绍我们在训练算法、框架开发、上线推理方面进一步的探索,以及相关工作在业务上的应用。最后,对当前我们面临的挑战进行总结,并对未来工作进行展望。

  • 2022-01-16
  • 收藏0
  • 阅读30
  • 下载0
  • 29页
  • docx
  • 5.04M

评价

评分 :
   *