MoE: No es un modelo gordo, son muchos especialistas

MoE es un modelo grande que no trabaja todo a la vez. Piensa en una cocina mexicana: cuando llega la gente, no hace todo el chile en un solo caldero. Tiene uno para el mole, otro para el adobo, otro para la salsa. Cada uno es experto en lo suyo, y el jefe de cocina decide cuál llamar para cada platillo.

Un modelo MoE hace lo mismo con sus neuronas: tiene varios grupos pequeños llamados "expertos". Cuando recibe un prompt, activa solo los expertos que le importan — no los 70 mil millones a la vez, sino quizás 20 millones. El resto se queda callado.

Esto no es solo eficiencia. Es velocidad. Es que el modelo gasta su fuerza donde la necesita, como cuando tu tía no hace tres días de tamales y uno, sino tres tamales distintos, y cada uno sabe a lo que debe saber. No pesa más. No cuesta más. Solo trabaja mejor.

La próxima vez que uses un modelo MoE, fíjate si responde más rápido con la misma calidad. Si lo hace, es por esto.
}