Architettura dei modelli
Mixture of Experts (MoE)
Una famiglia di architetture con esperti instradati. Le varianti sparse moderne attivano solo alcuni esperti per input, aumentando la capacità senza usare tutti i parametri per ogni token.
Termini chiave
- experts
- router
- sparse activation
- load balancing
Collegamenti nel progetto
Si basa su
Tecnologie correlate
Articoli correlati
Contesto storico
Fonti primarie
Questa è una mappa tecnica curata, non una pretesa di copertura completa.