ढाँचे और निरूपण
Tokenization
कच्चे पाठ और मॉडल द्वारा संसाधित विविक्त इकाइयों के बीच का प्रतिचित्रण। शब्दकोश का निर्माण और विखंडन अनुक्रम की लम्बाई, बहुभाषी कवरेज, लागत और मॉडल के व्यवहार को प्रभावित करते हैं।
मुख्य शब्द
- token
- vocabulary
- BPE
- SentencePiece
पूरी परियोजना में जुड़ाव
किसके द्वारा प्रयुक्त
संबंधित प्रौद्योगिकी
संबंधित शोधपत्र
ऐतिहासिक संदर्भ
प्राथमिक स्रोत
यह एक चुना हुआ तकनीकी मानचित्र है, सम्पूर्ण कवरेज का दावा नहीं।