← Fogalomtár
Fogalom
Mixture of Experts (MoE)
Olyan modellarchitektúra, amelyben a nagy modell belül több specializált alhálózatból áll, és minden bemenetnél csak a releváns experteket aktiválja — a többit nem.
Analógia
Mint egy nagyvállalat tanácsadó csapata: pénzügyi kérdésnél a pénzügyes szakember kerül előtérbe, jogi problémánál a jogász lép be — nem mindenki dolgozik egyszerre minden kérdésen.
Miért fontos?
A Gemini, GPT-4 és más vezető modellek MoE-alapú felépítést használnak. Ez magyarázza, hogyan lehet egyszerre hatalmas tudású és viszonylag hatékony egy modell: nem minden kérdésnél fut a teljes hálózat, csak az adott feladatra specializált rész.