Architettura dei modelli
Miscela di esperti (MoE)
Una famiglia di architetture con esperti instradati. Le varianti sparse moderne attivano solo alcuni esperti per input, aumentando la capacità senza usare tutti i parametri per ogni token.
Termini chiave
- esperti (experts)
- router
- attivazione sparsa (sparse activation)
- bilanciamento del carico (load balancing)
Collegamenti nel progetto
Si basa su
Tecnologie correlate
Articoli correlati
Contesto storico
Fonti primarie
Questa è una mappa tecnica curata, non una pretesa di copertura completa.