框架與表示 Tokenization 將原始文字映射為模型處理的離散單元。詞彙表建立與切分方式會影響序列長度、多語言涵蓋、成本和模型行為。 時間節點 2015 / 2018 最近審查 2026-07-30 關鍵術語 tokenvocabularyBPESentencePiece 專案內關聯 被用於 Hugging Face TransformersOLMo 相關技術 TransformerKV Cache 相關論文 用子詞單元處理神經機器翻譯中的罕見詞 (2016)SentencePiece：面向神經文本處理的簡單且語言無關的子詞斷詞與還原工具 (2018) 歷史背景 復興時代 (1990年代—2010年代)大模型時代 (2020年代—現在) 第一手來源 Neural Machine Translation of Rare Words with Subword UnitsSentencePiece 這是經過選編的技術圖譜，並非對 AI 技術的完整涵蓋聲明。