Little Learner: modelos de 900MB que aprenden en la tablet del chavo

Un paper nuevo de investigadores de Baidu, Oxford y otros presenta a Little Learner, un LLM diminuto que pesa unos 900MB — lo suficientemente chiquito para correr en una tablet barata o hasta en una Raspberry Pi sin necesidad de internet. El modelo se construyó desde cero con una arquitectura de 1.6B de parámetros, podado y cuantizado para caber en flash, y se entrenó de la nada, no se distiló de un modelo más grande. Eso importa: los modelos distilados traen los sesgos y puntos ciegos de su padre, mientras que este aprende sus propios patrones.

El equipo reporta resultados competitivos en MMLU y GSM8K — los benchmarks estándar de razonamiento y conocimiento — a pesar del tamaño. La prueba real es el despliegue: correr inferencia localmente significa no pagar API, no picos de latencia de un server farm, y no filtrar privacidad cuando un chavo escribe una pregunta en un dispositivo que ya tiene. Para familias y escuelas operando con presupuestos ajustados, esto es justo lo que permite meter un modelo capaz en una tablet y dejarlo correr.

Por qué nos importa: los primos que estudian en casa con un iPad viejo no necesitan la nube — este modelo se lleva en la mochila.