Definition
A model compression technique that lowers numerical precision, such as representing weights with 8-bit integers instead of 32-bit floating-point values. It can reduce memory use, while speed and quality depend on the model, quantization method, kernels and hardware. The chosen configuration needs evaluation on the intended workload.
Verwandte Dienste
Hilfe beim Verständnis von KI Benötigt?
Buchen Sie ein Physical-AI-Eignungsgespräch, um zu besprechen, wie diese KI-Konzepte auf Ihre Branche und Ihre Herausforderungen anwendbar sind.