← Fogalomtár
Fogalom
Kvantálás (Quantization)
A modell paramétereinek kisebb numerikus pontossággal való tárolása, ezzel csökkentve a memóriaigényt és gyorsítva a futtatást — kisebb minőségveszteség mellett.
Analógia
Mint JPEG-es képtömörítés: a fájl kisebb lesz és gyorsabban tölt, de a legtöbbször nem veszünk észre minőségkülönbséget — kivéve ha maximális élességre van szükségünk.
Miért fontos?
Ez teszi lehetővé, hogy egyre nagyobb modellek fussanak kisebb hardveren, például laptopon. Az Ollama és más helyi AI megoldások széles körű használata részben a kvantálásnak köszönhető. Fontos tudni: a kvantált modell gyorsabb és olcsóbb, de nem azonos minőségű az eredetivel.