Фреймворки и представление
Tokenization
Преобразование исходного текста в дискретные единицы, обрабатываемые моделью. Словарь и сегментация влияют на длину последовательности, многоязычность, стоимость и поведение.
Ключевые термины
- token
- vocabulary
- BPE
- SentencePiece
Связи внутри проекта
Используется в
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.