Фреймворки и представление
Токенизация
Преобразование исходного текста в дискретные единицы, обрабатываемые моделью. Словарь и сегментация влияют на длину последовательности, многоязычность, стоимость и поведение.
Ключевые термины
- токен (token)
- словарь (vocabulary)
- BPE
- SentencePiece
Связи внутри проекта
Используется в
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.