SƠ ĐỒ CÔNG NGHỆ
Công nghệ AI
Từ kiến trúc và huấn luyện đến suy luận, triển khai và các trường hợp mô hình trọng số mở
Bản đồ biên tập về các lớp kỹ thuật biến ý tưởng nghiên cứu thành mô hình có thể huấn luyện và hệ thống có thể sử dụng. Mỗi mục nối với bài báo, lịch sử, trường hợp mô hình, công cụ và nguồn sơ cấp.
Kiến trúc mô hình
Cấu trúc quyết định cách mô hình biểu diễn và biến đổi thông tin.
Transformer
Kiến trúc mạng nơ-ron dựa trên attention, xử lý song song các vị trí trong chuỗi. Đây là nền tảng của nhiều mô hình ngôn ngữ và đa phương thức hiện đại.
- tự chú ý
- bộ mã hóa
- bộ giải mã
Hỗn hợp chuyên gia (MoE)
Họ kiến trúc định tuyến giữa các mạng chuyên gia. Các biến thể thưa hiện đại chỉ kích hoạt một số chuyên gia cho mỗi đầu vào, tăng dung lượng mà không dùng mọi tham số cho từng token.
- chuyên gia
- bộ định tuyến
- kích hoạt thưa
Mô hình khuếch tán
Mô hình sinh học cách đảo ngược quá trình thêm nhiễu dần dần. Khử nhiễu lặp trở thành phương pháp quan trọng cho việc sinh ảnh, âm thanh, video và nội dung đa phương thức.
- thêm nhiễu thuận
- khử nhiễu
- khớp điểm số
Framework và biểu diễn
Phần mềm và giao diện dữ liệu dùng để xây dựng, huấn luyện và chạy mô hình.
PyTorch
Framework mã nguồn mở cho tensor và học sâu, hỗ trợ vi phân tự động, mô-đun mạng nơ-ron, biên dịch và thực thi phân tán. Nó được dùng từ nguyên mẫu nghiên cứu đến huấn luyện sản xuất.
- tensor
- autograd
- mô-đun
Hugging Face Transformers
Thư viện định nghĩa mô hình nối các kiến trúc tiền huấn luyện với hệ sinh thái huấn luyện và suy luận. Nó chuẩn hóa cấu hình, tiền xử lý, tải, sinh và giao diện cho nhiều tác vụ.
- định nghĩa mô hình
- điểm kiểm tra tiền huấn luyện
- Trainer
Token hóa
Quá trình ánh xạ văn bản thô thành các đơn vị rời rạc mà mô hình xử lý. Từ vựng và cách phân đoạn ảnh hưởng độ dài chuỗi, khả năng đa ngôn ngữ, chi phí và hành vi.
- token
- từ vựng
- BPE
Huấn luyện và hậu huấn luyện
Phương pháp mở rộng, thích nghi và ưu tiên định hình năng lực và hành vi.
Huấn luyện phân tán
Các kỹ thuật chia dữ liệu, tham số, activation hoặc tính toán giữa nhiều thiết bị và nút. Chúng cho phép huấn luyện mô hình lớn nhưng tạo ra đánh đổi về giao tiếp, đồng bộ và chịu lỗi.
- song song dữ liệu
- song song tensor
- song song đường ống
SFT / RLHF / DPO
Nhóm phương pháp hậu huấn luyện để dạy mô hình làm theo chỉ dẫn và phù hợp với ưu tiên. SFT học từ minh họa; RLHF và DPO dùng so sánh ưu tiên qua các quy trình tối ưu khác nhau.
- tinh chỉnh có giám sát
- dữ liệu sở thích
- mô hình phần thưởng
Suy luận và tính toán lúc kiểm thử
Một nhóm phương pháp hậu huấn luyện dạy mô hình sinh ra chuỗi suy luận dài trước khi trả lời, và dùng nhiều tính toán hơn ở giai đoạn suy luận khi bài toán khó hơn. Học tăng cường với phần thưởng kiểm chứng được — trong đó một đáp án có thể đối chiếu cung cấp tín hiệu huấn luyện — là điều khiến hướng đi này tái lập được bên ngoài các phòng thí nghiệm đóng. Cái giá nên nói thẳng: độ chính xác đến từ độ dài sinh văn bản chứ không từ mô hình lớn hơn, và phải trả bằng độ trễ cùng chi phí phục vụ.
- vết suy luận
- phần thưởng kiểm chứng được
- ngân sách suy luận
LoRA / QLoRA
Các phương pháp tinh chỉnh tiết kiệm tham số, chỉ huấn luyện adapter hạng thấp nhỏ trong khi giữ cố định trọng số nền. QLoRA kết hợp adapter với mô hình nền lượng tử hóa để giảm thêm bộ nhớ.
- adapter hạng thấp
- mô hình nền được đóng băng
- huấn luyện 4 bit
Suy luận và triển khai
Kỹ thuật bộ nhớ, lập lịch, nén và runtime dùng để phục vụ mô hình.
Lượng tử hóa
Biểu diễn trọng số, activation hoặc cache bằng độ chính xác số thấp hơn. Nó giảm bộ nhớ, băng thông và chi phí tính toán, đổi lại là đánh đổi về độ chính xác và hỗ trợ phần cứng.
- độ chính xác
- INT8
- INT4
KV Cache
Bộ nhớ đệm các key và value attention của token trước trong quá trình sinh tự hồi quy. Nó tránh tính lại toàn bộ tiền tố nhưng thường tiêu thụ nhiều bộ nhớ.
- keys
- values
- điền trước
Gom lô liên tục / PagedAttention
Kỹ thuật phục vụ liên tục nhận và hoàn tất yêu cầu, đồng thời quản lý KV cache theo trang. Chúng cải thiện mức sử dụng và thông lượng với tải có độ dài thay đổi.
- lập lịch yêu cầu
- phân trang bộ nhớ
- thông lượng
Giải mã suy đoán
Phương pháp suy luận trong đó mô hình nháp nhanh hơn đề xuất nhiều token và mô hình đích kiểm tra song song. Nó có thể giảm độ trễ mà không đổi phân phối đích.
- mô hình nháp
- xác minh
- độ trễ
Hệ sinh thái suy luận mô hình mở
Các engine và runtime như vLLM, llama.cpp biến trọng số tải xuống thành suy luận cục bộ hoặc trên máy chủ. Chúng ưu tiên khác nhau về thông lượng, tính di động phần cứng, định dạng và độ phức tạp vận hành.
- vLLM
- llama.cpp
- GGUF
TẦNG ỨNG DỤNG
Kiến trúc ứng dụng
Mô hình trở thành sản phẩm qua quy trình, công cụ, trao đổi ngữ cảnh, hàng rào an toàn và đánh giá. Các phần MCP và Công cụ hiện có bao phủ lớp này mà không lặp lại nội dung.
Trường hợp mô hình mở
Các dòng mô hình được xem xét theo mã, trọng số, công bố huấn luyện và giấy phép.
Llama
Dòng mô hình của Meta có trọng số tải xuống đã mở rộng suy luận cục bộ và tinh chỉnh. Vì dùng điều khoản riêng của Llama, “trọng số mở” chính xác hơn việc mặc nhiên coi là mã nguồn mở theo OSI.
- trọng số mở
- giấy phép cộng đồng
- dòng mô hình
Qwen
Dòng Qwen của Alibaba gồm các bản dense, định tuyến chuyên gia, đa ngôn ngữ và đa phương thức. Nhiều checkpoint có thể tải xuống, nhưng cần kiểm tra giấy phép và mức công bố ở từng model card.
- đa ngôn ngữ
- dày đặc và MoE
- trọng số mở
Mistral / Mixtral
Dòng của Mistral AI gồm mô hình dense Mistral và mô hình Mixtral định tuyến chuyên gia. Một số bản có giấy phép rộng, số khác thì không; độ mở phải được đánh giá theo từng hiện vật.
- mô hình dày đặc
- MoE
- trọng số mở
DeepSeek
Các bản tải xuống của DeepSeek thúc đẩy nghiên cứu về MoE, hậu huấn luyện suy luận và phục vụ hiệu quả. Mã và trọng số có thể dùng giấy phép khác nhau; công bố dữ liệu huấn luyện là một chiều riêng.
- MoE
- suy luận
- trọng số mở
Gemma
Dòng mô hình của Google có trọng số tải xuống nối nghiên cứu từ Gemini với triển khai cục bộ, biên và lưu trữ. Google gọi đây là mô hình mở, nhưng giấy phép khác nhau tùy bản phát hành.
- trọng số mở
- mô hình gọn nhẹ
- triển khai tại biên
OLMo
Ai2 công bố dòng OLMo kèm dữ liệu tiền huấn luyện, mã huấn luyện, các điểm kiểm tra trung gian và nhật ký, chứ không chỉ trọng số. Đây là trường hợp mà cả bốn thứ cần kiểm tra riêng — mã, trọng số, công bố huấn luyện và giấy phép — đều thực sự được công bố, nên có thể dùng làm mốc đối chiếu với những dòng chỉ phát hành trọng số.
- mở hoàn toàn
- dữ liệu huấn luyện mở
- điểm kiểm tra trung gian
gpt-oss
gpt-oss-120b và 20b của OpenAI là các mô hình suy luận MoE có thể tải xuống để chạy cục bộ hoặc được lưu trữ. Trọng số và bản triển khai tham chiếu dùng Apache 2.0, nhưng bộ dữ liệu tiền huấn luyện không được công bố.
- trọng số mở
- suy luận
- MoE
GLM-5
Dòng GLM-5 của Z.ai là một họ mô hình ngôn ngữ MoE lớn cho suy luận, lập trình và công việc tác tử dài hạn. GLM-5 ra mắt vào tháng 2 năm 2026, 5.1 vào tháng 4, 5.2 vào tháng 6 với 753 tỷ tham số và cửa sổ ngữ cảnh một triệu token, và 5.3 vào tháng 8 trên cùng nền tảng với các thay đổi sau huấn luyện; GLM-5.3-Flash nhỏ hơn theo sau vài ngày với tổng 320 tỷ tham số và 18 tỷ tham số kích hoạt. Quy mô của các thành viên lớn khiến việc tự lưu trữ tốn nhiều tài nguyên.
- trọng số mở
- MoE
- ngữ cảnh dài
Kimi K3
Moonshot AI phát hành Kimi K3 tháng 7 năm 2026: mô hình ngôn ngữ MoE đa phương thức nguyên bản có trọng số mở, với tổng 2,8 nghìn tỷ tham số, 104 tỷ tham số hoạt động và ngữ cảnh một triệu token. Mô hình hướng đến lập trình dài hạn, công việc tri thức và tác tử dùng công cụ, nhưng triển khai cục bộ đòi hỏi nhiều tài nguyên.
- trọng số mở
- MoE
- ngữ cảnh dài
Đây là bản đồ kỹ thuật được tuyển chọn, không phải tuyên bố bao quát toàn bộ.