Frameworks y representación
Tokenization
La conversión del texto sin procesar en unidades discretas que procesa un modelo. El vocabulario y la segmentación afectan longitud, cobertura multilingüe, coste y comportamiento.
Términos clave
- token
- vocabulary
- BPE
- SentencePiece
Conexiones en el proyecto
Usado por
Tecnologías relacionadas
Artículos relacionados
Contexto histórico
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.