← Fogalomtár
Fogalom
Desztilláció (Knowledge Distillation)
Kisebb modell tanítása úgy, hogy egy nagyobb, erősebb modell kimeneteit utánozza — így a kisebb modell jobb lesz, mintha csak az eredeti adatokon tanult volna.
Analógia
Mint egy tapasztalt mester és a tanonca: a tanonc nem magától tanulja meg a szakmát tíz év alatt, hanem a mester folyamatos visszajelzéséből tanul — így gyorsabban éri el a szintje nagy részét.
Miért fontos?
Ez az egyik módszer, amely lehetővé teszi, hogy kisebb, olcsóbb modellek is erős teljesítményt nyújtsanak. Sok gyors és hatékony modell desztillált változat. A választásnál fontos tudni: a desztillált modell kisebb, de nem feltétlenül lényegesen kevesebbet tud.