Cuánto pesa un modelo, sin perder lo que sabe

Los modelos de lenguaje son enormes. No son solo palabras, son billones de números — las pesas que guardan todo lo que aprendieron — y cada número vive en 4 bytes. Eso hace que los modelos se sienten gordos: ocupan espacio en la tarjeta gráfica y tardan en moverse.

La cuantización es lo que hace la abuela cuando mete las galletas en un tarro más chico. No cambia las galletas, solo cambia cómo las guarda. En vez de 4 bytes por número, guardas 2, 1, o incluso 0.5. El modelo se achica, a veces a la mitad, y casi no pierde nada del sabor.

Es la diferencia entre llevar tu computadora con los 40 gigas de pesos, o comprimir los pesos en un zip y llevar la bolsita. El modelo sigue siendo el mismo, solo que ya no pesa tanto.

La cuantización es lo que hace posible que corras un modelo grande en una laptop普通的, o en un teléfono, sin que se trabe. Y lo mejor: no necesitas un modelo nuevo — solo le dices al modelo que se achique, y sigue hablando igual.

Si estás eligiendo un modelo y ves nombres como Q4, Q8, o GGUF, los números son cuántos bits usa por peso: Q4 = 4 bits por número, Q8 = 8. Más bits = más preciso, pero más pesado. Menos bits = más ligero, pero con más pérdida. Para la mayoría de las tareas, Q4 es el punto dulce: ligero y preciso, como el bote de la abuela.