GRAF TEKNOLOGI
Teknologi AI
Dari arsitektur dan pelatihan model hingga inferensi, penggelaran, dan kasus model berbobot terbuka
Peta terkurasi atas lapisan teknis yang mengubah gagasan penelitian menjadi model yang dapat dilatih dan sistem yang dapat dipakai. Setiap entri menghubungkan konsep dengan makalah, era sejarah, kasus model, perkakas, dan sumber primer.
Arsitektur model
Struktur yang menentukan bagaimana model merepresentasikan dan mengubah informasi.
Transformer
Arsitektur saraf berbasis atensi yang memproses posisi-posisi dalam suatu deret secara paralel. Ia menjadi fondasi bagi banyak model bahasa dan model multimodal masa kini.
- perhatian-diri
- enkoder
- dekoder
Campuran Pakar (MoE)
Keluarga arsitektur pakar terarah. Varian jarang masa kini hanya mengaktifkan subjaringan pakar terpilih untuk setiap masukan, sehingga kapasitas bertambah tanpa mengaktifkan setiap parameter pada setiap token.
- pakar
- perute
- aktivasi jarang
Model Difusi
Model generatif yang belajar membalik proses penambahan derau secara bertahap. Penghilangan derau berulang menjadi pendekatan utama untuk pembangkitan citra, audio, video, dan multimodal.
- penambahan derau maju
- penghilangan derau
- pencocokan skor
Kerangka kerja dan representasi
Antarmuka perangkat lunak dan data yang dipakai untuk membangun, melatih, dan menjalankan model.
PyTorch
Kerangka kerja tensor dan pembelajaran mendalam sumber terbuka dengan diferensiasi otomatis, modul jaringan saraf, kompilasi, dan eksekusi terdistribusi. Ia dipakai luas dari purwarupa riset hingga pelatihan produksi.
- tensor
- autograd
- modul
Hugging Face Transformers
Pustaka pendefinisian model yang menghubungkan arsitektur terlatih dengan ekosistem pelatihan dan inferensi. Ia membakukan konfigurasi, prapemrosesan, pemuatan, pembangkitan, dan banyak antarmuka tugas.
- definisi model
- checkpoint prapelatihan
- Trainer
Tokenisasi
Pemetaan antara teks mentah dan satuan diskret yang diproses model. Penyusunan kosakata dan pemenggalan memengaruhi panjang deret, cakupan multibahasa, biaya, dan perilaku model.
- token
- kosakata
- BPE
Pelatihan dan pascapelatihan
Metode penskalaan, adaptasi, dan preferensi yang membentuk kemampuan dan perilaku model.
Pelatihan Terdistribusi
Teknik yang membagi data, parameter, aktivasi, atau komputasi ke berbagai perangkat dan simpul. Teknik ini memungkinkan pelatihan model besar, tetapi memunculkan pertukaran pada komunikasi, sinkronisasi, dan toleransi kegagalan.
- paralelisme data
- paralelisme tensor
- paralelisme pipeline
SFT / RLHF / DPO
Keluarga metode pascapelatihan untuk mengajarkan kepatuhan pada instruksi dan perilaku yang selaras dengan preferensi. SFT belajar dari demonstrasi; RLHF dan DPO memakai perbandingan preferensi melalui prosedur optimasi yang berbeda.
- penyetelan halus terawasi
- data preferensi
- model imbalan
Penalaran dan komputasi saat inferensi
Pascapelatihan yang mengajari model menghasilkan jejak penalaran panjang sebelum menjawab, dan membelanjakan lebih banyak komputasi saat inferensi ketika persoalannya lebih sulit. Pembelajaran penguatan dengan imbalan yang dapat diperiksa — ketika jawaban yang bisa dicek memasok sinyal pelatihan — itulah yang membuat pendekatan ini dapat direproduksi di luar laboratorium tertutup. Pertukarannya perlu dikatakan terus terang: ketepatan yang dibeli dengan panjang pembangkitan alih-alih dengan model yang lebih besar, dan dibayar dengan latensi serta biaya penyajian.
- jejak penalaran
- imbalan yang dapat diperiksa
- anggaran inferensi
LoRA / QLoRA
Metode penalaan halus hemat parameter yang melatih adapter berperingkat rendah sembari membekukan bobot dasar. QLoRA memadukan adapter dengan model dasar terkuantisasi untuk menekan pemakaian memori lebih jauh.
- adapter berperingkat rendah
- model dasar yang dibekukan
- pelatihan 4-bit
Inferensi dan penggelaran
Teknik memori, penjadwalan, kompresi, dan runtime yang dipakai untuk menyajikan model.
Kuantisasi
Merepresentasikan bobot, aktivasi, atau tembolok dengan presisi numerik yang lebih rendah. Cara ini dapat menurunkan biaya memori, lebar pita, dan komputasi, dengan pertukaran pada ketepatan dan dukungan perangkat keras.
- presisi
- INT8
- INT4
KV Cache
Tembolok kunci dan nilai atensi dari token-token sebelumnya selama pembangkitan autoregresif. Ia menghindari penghitungan ulang seluruh awalan, tetapi kerap menjadi pemakai memori yang besar.
- kunci
- nilai
- pengisian awal
Continuous Batching / PagedAttention
Teknik penyajian yang terus-menerus menerima dan melepas permintaan sembari mengelola memori tembolok KV dalam laman. Bersama-sama keduanya memperbaiki utilisasi dan keluaran pada beban kerja berpanjang beragam.
- penjadwalan permintaan
- paging memori
- laju pemrosesan
Speculative Decoding
Metode inferensi ketika draf yang lebih cepat mengusulkan beberapa token dan model sasaran memverifikasinya secara paralel. Cara ini dapat menurunkan latensi pembangkitan tanpa mengubah distribusi sasaran.
- model draf
- verifikasi
- latensi
Ekosistem Inferensi Model Terbuka
Mesin dan runtime seperti vLLM dan llama.cpp mengubah bobot model yang dapat diunduh menjadi inferensi lokal atau di server. Prioritas keduanya berbeda pada keluaran, keterbawaan perangkat keras, format model, dan kerumitan operasional.
- vLLM
- llama.cpp
- GGUF
LAPISAN APLIKASI
Arsitektur aplikasi
Model menjadi produk melalui alur kerja, perkakas, pertukaran konteks, pagar pengaman, dan evaluasi. Bagian MCP dan Perkakas yang sudah ada mencakup lapisan aplikasi ini tanpa menggandakannya di sini.
Kasus model terbuka
Keluarga model yang ditelaah melalui kode, bobot, keterbukaan pelatihan, dan lisensi.
Llama
Keluarga model berbobot-unduh dari Meta ikut memperluas inferensi lokal dan penalaan hilir. Rilisnya memakai ketentuan khas Llama, sehingga “bobot terbuka” lebih tepat daripada mengandaikan sumber terbuka menurut definisi OSI.
- bobot terbuka
- lisensi komunitas
- keluarga model
Qwen
Keluarga Qwen dari Alibaba mencakup rilis padat, terarah-pakar, multibahasa, dan multimodal. Banyak checkpoint dapat diunduh secara terbuka, tetapi klaim lisensi dan keterbukaan sebaiknya diperiksa pada tingkat kartu model masing-masing.
- multibahasa
- padat dan MoE
- bobot terbuka
Mistral / Mixtral
Keluarga Mistral AI mencakup model Mistral yang padat maupun model Mixtral yang terarah-pakar. Sebagian rilis memakai lisensi permisif dan sebagian tidak, sehingga keterbukaannya harus dinilai per artefak.
- model padat
- MoE
- bobot terbuka
DeepSeek
Rilis DeepSeek yang dapat diunduh membuat rancangan MoE, pascapelatihan penalaran, dan penyajian yang efisien banyak dipelajari. Kode dan bobot dapat memakai lisensi berbeda, dan keterbukaan data pelatihan adalah dimensi tersendiri.
- MoE
- penalaran
- bobot terbuka
Gemma
Keluarga berbobot-unduh dari Google menghubungkan riset turunan Gemini dengan penggelaran lokal, tepi, dan terkelola. Google menyebutnya keluarga model terbuka, tetapi lisensinya berbeda menurut rilis.
- bobot terbuka
- model ringan
- penerapan di tepi
OLMo
Ai2 merilis keluarga OLMo beserta data pralatihnya, kode pelatihan, checkpoint antara, dan lognya, berdampingan dengan bobotnya. Inilah kasus ketika keempat hal yang layak diperiksa terpisah — kode, bobot, keterbukaan pelatihan, dan lisensi — benar-benar diterbitkan, sehingga ia menjadi titik rujukan terhadap keluarga yang hanya merilis bobot.
- sepenuhnya terbuka
- data pelatihan terbuka
- checkpoint antara
gpt-oss
gpt-oss-120b dan 20b dari OpenAI adalah model penalaran MoE yang dapat diunduh, dirancang untuk inferensi lokal maupun terkelola. Bobot Apache 2.0 dan implementasi rujukannya memperluas akses penggelaran, sementara himpunan data pralatihnya sendiri tidak dirilis.
- bobot terbuka
- penalaran
- MoE
GLM-5
Seri GLM-5 dari Z.ai adalah keluarga model bahasa MoE besar untuk penalaran, pemrograman, dan kerja keagenan berjangka panjang. GLM-5 muncul pada Februari 2026, 5.1 pada April, 5.2 pada Juni dengan 753 miliar parameter dan jendela konteks satu juta token, serta 5.3 pada Agustus di atas basis yang sama dengan perubahan pascapelatihan; GLM-5.3-Flash yang lebih kecil menyusul beberapa hari kemudian dengan 320 miliar parameter total dan 18 miliar parameter aktif. Skala anggota yang lebih besar membuat swahosting menuntut banyak sumber daya.
- bobot terbuka
- MoE
- konteks panjang
Kimi K3
Moonshot AI merilis Kimi K3 pada Juli 2026 sebagai model bahasa MoE multimodal-asli berbobot terbuka dengan 2,8 triliun parameter total, 104 miliar parameter aktif, dan jendela konteks satu juta token. Ia menyasar pemrograman berjangka panjang, kerja pengetahuan, dan agen pengguna perkakas, sementara skalanya membuat penggelaran lokal menuntut banyak.
- bobot terbuka
- MoE
- konteks panjang
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.