LoRA: el ajuste que no rompe el modelo

LoRA (Low-Rank Adaptation) es un atajo para entrenar modelos de lenguaje sin tocar los miles de millones de pesos que ya tienen. En vez de reescribir todo el modelo, se pegan dos capas pequeñas — matrices delgadas — y se ajustan solo esas. El modelo original se congela; el nuevo conocimiento va por las capas nuevas.

Piensa en el bote de los primos que siempre está lleno. Si necesitan agregar dos tazas de sal, no vacían el bote ni lo reemplazan — simplemente echan la sal encima. LoRA hace lo mismo: dos capas delgadas se pegan al modelo y se ajustan, sin mover el resto. El resultado es un modelo que sabe cosas nuevas pero se parece al original porque lo original no se tocó.

¿Por qué importa? Porque lo original se puede compartir. Una sola vez se entrena el modelo base. Luego, cada tarea — traducción, resumen, código — tiene su propio LoRA, un archivo de unos cuantos megas. Se cargan y descargan como extensiones.

El ajuste es rápido y barato porque lo que se entrena es pequeño. En la práctica, LoRA permite que un modelo grande se especialice sin costar lo mismo que reentrenarlo completo.

Si estás eligiendo entre un modelo grande y uno pequeño: el grande con LoRA a veces gana. El modelo base se queda y se especializa con capas delgadas; el pequeño se queda pequeño.

Mide el tamaño del archivo LoRA — si es del tamaño de una foto, el ajuste fue ligero. Si pesa como el modelo entero, no fue LoRA, fue reentrenamiento disfrazado.