Token经济100问(2026.7)

词元(Token)是大语言模型处理文本的最小单位--模型不认 识“字”,只认识词元。 要理解词元,可以做一个类比:人类阅读是以“词”为单位的,看到“人工智能”四个字,我们的大脑把它当作一个完整的概念来理解,而不是逐字去拼“人”工”智”能”。大模型也有类似的过程,只不过它拆解文本的方式和人类不同。模型会通过一套“分词器”(Tokenizer)算法,把输入的文字切分成若干个片段,每个片段就 是一个词元。

  • 2026-10-27
  • 收藏0
  • 阅读5
  • 下载0
  • 203页
  • pdf
  • 2.21M

评价

评分 :
   *