フレームワークと表現
Tokenization
生のテキストをモデルが処理する離散単位へ写像する工程です。語彙構築と分割方式は系列長、多言語対応、コスト、モデル挙動に影響します。
主要用語
- token
- vocabulary
- BPE
- SentencePiece
プロジェクト内のつながり
一次資料
これは選定された技術マップであり、網羅性を主張するものではありません。
フレームワークと表現
生のテキストをモデルが処理する離散単位へ写像する工程です。語彙構築と分割方式は系列長、多言語対応、コスト、モデル挙動に影響します。
これは選定された技術マップであり、網羅性を主張するものではありません。