Frameworks y representación
Tokenización
La conversión del texto sin procesar en unidades discretas que procesa un modelo. El vocabulario y la segmentación afectan longitud, cobertura multilingüe, coste y comportamiento.
Términos clave
- token
- vocabulario (vocabulary)
- BPE
- SentencePiece
Conexiones en el proyecto
Usado por
Tecnologías relacionadas
Artículos relacionados
Contexto histórico
Fuentes primarias
Este es un mapa técnico seleccionado, no una afirmación de cobertura completa.