Frameworks und Repräsentation
Tokenisierung
Die Abbildung von Rohtext auf diskrete Einheiten, die ein Modell verarbeitet. Wortschatz und Segmentierung beeinflussen Sequenzlänge, Mehrsprachigkeit, Kosten und Modellverhalten.
Schlüsselbegriffe
- Token
- Wortschatz (vocabulary)
- BPE
- SentencePiece
Verknüpfungen im Projekt
Verwendet von
Verwandte Technologien
Verwandte Arbeiten
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.