เฟรมเวิร์กและการแทนข้อมูล
Tokenization
การแปลงข้อความดิบเป็นหน่วยไม่ต่อเนื่องที่โมเดลประมวลผล การสร้างคำศัพท์และการแบ่งข้อความมีผลต่อความยาวลำดับ การรองรับหลายภาษา ต้นทุน และพฤติกรรมของโมเดล
คำสำคัญ
- token
- vocabulary
- BPE
- SentencePiece
ความเชื่อมโยงในโครงการ
ถูกใช้โดย
เทคโนโลยีที่เกี่ยวข้อง
บทความที่เกี่ยวข้อง
บริบททางประวัติศาสตร์
แหล่งข้อมูลปฐมภูมิ
นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด