Frameworks e representação
Tokenization
O mapeamento de texto bruto para unidades discretas processadas por um modelo. Vocabulário e segmentação afetam comprimento da sequência, cobertura multilíngue, custo e comportamento.
Termos-chave
- token
- vocabulary
- BPE
- SentencePiece
Ligações no projeto
Usado por
Tecnologias relacionadas
Artigos relacionados
Contexto histórico
Fontes primárias
Este é um mapa técnico selecionado, não uma afirmação de cobertura completa.