Inferenz und Bereitstellung
Quantization
Die Darstellung von Gewichten, Aktivierungen oder Caches mit geringerer numerischer Genauigkeit. Sie reduziert Speicher-, Bandbreiten- und Rechenkosten, erfordert aber Genauigkeits- und Hardwareabwägungen.
Schlüsselbegriffe
- precision
- INT8
- INT4
- weight-only
Verknüpfungen im Projekt
Verwandte Technologien
Verwandte Arbeiten
Historischer Kontext
Primärquellen
Dies ist eine kuratierte technische Karte und kein Anspruch auf Vollständigkeit.