الأطر والتمثيل
Tokenization
التقابل بين النص الخام والوحدات المنفصلة التي يعالجها النموذج. ويؤثّر بناء المفردات والتقطيع في طول المتتالية والتغطية متعددة اللغات والكلفة وسلوك النموذج.
المصطلحات الأساسية
- token
- vocabulary
- BPE
- SentencePiece
الروابط عبر المشروع
يُستخدَم في
تقنيات ذات صلة
أوراق ذات صلة
السياق التاريخي
المصادر الأولية
هذه خريطة تقنية منتقاة، لا ادّعاء بتغطية شاملة.