Frameworks et représentation
Tokenization
La conversion du texte brut en unités discrètes traitées par un modèle. La construction du vocabulaire et la segmentation influencent longueur de séquence, couverture multilingue, coût et comportement.
Termes clés
- token
- vocabulary
- BPE
- SentencePiece
Liens dans le projet
Utilisé par
Technologies liées
Articles liés
Contexte historique
Sources primaires
Cette carte est une sélection éditoriale, non une prétention à l’exhaustivité.