Nucleus sampling: cómo la IA se mantiene en sus cabales

Cuando le preguntas a una IA, genera un montón de posibles palabras siguientes, cada una con su puntaje de confianza. Nucleus sampling (que en la documentación lo llaman "top-p") es un truco que mantiene a la IA sin que se vaya por las ramas.

La IA junta sus respuestas más probables hasta que sumen un porcentaje — digamos 90%. Tira todo lo que queda debajo de esa línea y elige al azar de lo que sobra.

Piensa en una bodega. El dueño no pone de todo en el mundo. Pone lo que la gente del barrio realmente compra. El resto del estante se queda vacío. Nucleus sampling hace lo mismo: mantiene las respuestas en el estante y limpia la basura.

Sin nucleus sampling, la IA puede divagar, inventar, o volver a sí misma. Con él, las respuestas se mantienen enfocadas y con pies en la tierra.

Por qué nos importa: la IA se está usando más en escuelas, servicios gubernamentales y atención al cliente — lugares donde respuestas que suenan seguras pero están mal pueden hacer daño real.

Cuando estés probando outputs de IA, pregúntate: ¿se repite, o sigue sacando puntos nuevos y relevantes? La repetición usualmente significa que el nucleus es demasiado estrecho.