Kerangka kerja dan representasi
Tokenization
Pemetaan antara teks mentah dan satuan diskret yang diproses model. Penyusunan kosakata dan pemenggalan memengaruhi panjang deret, cakupan multibahasa, biaya, dan perilaku model.
Istilah kunci
- token
- vocabulary
- BPE
- SentencePiece
Terhubung di seluruh proyek
Dipakai oleh
Teknologi terkait
Makalah terkait
Konteks sejarah
Sumber primer
Ini adalah peta teknis terkurasi, bukan klaim cakupan yang menyeluruh.