Framework e rappresentazione
Tokenization
La mappatura del testo grezzo nelle unità discrete elaborate dal modello. Vocabolario e segmentazione influenzano lunghezza della sequenza, copertura multilingue, costo e comportamento.
Termini chiave
- token
- vocabulary
- BPE
- SentencePiece
Collegamenti nel progetto
Usato da
Tecnologie correlate
Articoli correlati
Contesto storico
Fonti primarie
Questa è una mappa tecnica curata, non una pretesa di copertura completa.