Inferenz und Bereitstellung
Quantisierung
Die Darstellung von Gewichten, Aktivierungen oder Caches mit geringerer numerischer Genauigkeit. Sie reduziert Speicher-, Bandbreiten- und Rechenkosten, erfordert aber Genauigkeits- und Hardwareabwägungen.
Schlüsselbegriffe
- numerische Genauigkeit (precision)
- INT8
- INT4
- nur Gewichte (weight-only)
Verknüpfungen im Projekt
Verwandte Technologien
Verwandte Arbeiten
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.