Frameworks und Repräsentation
Tokenization
Die Abbildung von Rohtext auf diskrete Einheiten, die ein Modell verarbeitet. Wortschatz und Segmentierung beeinflussen Sequenzlänge, Mehrsprachigkeit, Kosten und Modellverhalten.
Schlüsselbegriffe
- token
- vocabulary
- BPE
- SentencePiece
Verknüpfungen im Projekt
Verwendet von
Verwandte Technologien
Verwandte Arbeiten
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.