网易严选nlp-预训练语言模型的应用

文本的表征经历了漫长的发展历程,从最简单经典的bow词袋模型、以LDA为代表的主题模型、以word2vec为代表的稠密向量模型、到现在以bert为代表的通用语言模型。词语是文本细粒度的表达,早期的预训练词向量虽简单易用,但无法解决一词多义的问题。近年来,基于大规模上下文语料,训练的通用语言模型,可以产出更细致的语义表征向量,相同的词在不同的语境中能抽取出不同的语义向量。

  • 2022-01-16
  • 收藏0
  • 阅读73
  • 下载0
  • 11页
  • docx
  • 238.98M

评价

评分 :
   *