Suy luận và triển khai
Quantization
Biểu diễn trọng số, activation hoặc cache bằng độ chính xác số thấp hơn. Nó giảm bộ nhớ, băng thông và chi phí tính toán, đổi lại là đánh đổi về độ chính xác và hỗ trợ phần cứng.
Thuật ngữ chính
- precision
- INT8
- INT4
- weight-only
Liên kết trong dự án
Công nghệ liên quan
Bài báo liên quan
Bối cảnh lịch sử
Nguồn sơ cấp
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.