เฟรมเวิร์กและการแทนข้อมูล
การแบ่งโทเคน
การแปลงข้อความดิบเป็นหน่วยไม่ต่อเนื่องที่โมเดลประมวลผล การสร้างคำศัพท์และการแบ่งข้อความมีผลต่อความยาวลำดับ การรองรับหลายภาษา ต้นทุน และพฤติกรรมของโมเดล
คำสำคัญ
- โทเคน (token)
- คลังคำ (vocabulary)
- BPE
- SentencePiece
ความเชื่อมโยงในโครงการ
ถูกใช้โดย
เทคโนโลยีที่เกี่ยวข้อง
บทความที่เกี่ยวข้อง
บริบททางประวัติศาสตร์
แหล่งข้อมูลปฐมภูมิ
นี่คือแผนที่เทคนิคที่คัดสรร ไม่ใช่การอ้างว่าครอบคลุมทั้งหมด