Framework và biểu diễn
Tokenization
Quá trình ánh xạ văn bản thô thành các đơn vị rời rạc mà mô hình xử lý. Từ vựng và cách phân đoạn ảnh hưởng độ dài chuỗi, khả năng đa ngôn ngữ, chi phí và hành vi.
Thuật ngữ chính
- token
- vocabulary
- BPE
- SentencePiece
Liên kết trong dự án
Được dùng bởi
Công nghệ liên quan
Bài báo liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.