框架与表示 Tokenization 将原始文本映射为模型处理的离散单元。词表构建与切分方式会影响序列长度、多语言覆盖、成本和模型行为。 时间节点 2015 / 2018 最近审查 2026-07-30 关键术语 tokenvocabularyBPESentencePiece 项目内关联 被用于 Hugging Face TransformersOLMo 相关技术 TransformerKV Cache 相关论文 用子词单元处理神经机器翻译中的罕见词 (2016)SentencePiece：面向神经文本处理的简单且语言无关的子词分词与还原工具 (2018) 历史背景 复兴时代 (1990年代—2010年代)大模型时代 (2020年代—现在) 一手来源 Neural Machine Translation of Rare Words with Subword UnitsSentencePiece 这是经过选编的技术图谱，并非对 AI 技术的完整覆盖声明。