RLHF: la tía que te corrige el español

RLHF es lo que hace que una IA deje de sonar como un libro de texto y empiece a sonar como una persona.

El modelo empieza aprendiendo de un montón de texto — leyendo lo que hay disponible, como un chavo que se va aprendiendo el español de la casa. Puede producir oraciones e incluso escribir código, pero no tiene idea de qué está bien. No sabe que una receta debe poner los ingredientes antes de las instrucciones, o que una recomendación debe ser honesta en vez de aduladora.

Entonces la gente se sienta y califica las salidas del modelo. Eligen la mejor respuesta, marcan las malas, y escriben notas. Esto es la parte de retroalimentación humana.

Luego viene el aprendizaje por refuerzo: el modelo ajusta sus pesos usando esas calificaciones como señal de recompensa. Piensa en ello como la tía que te corrige el español — cada vez que dices algo mal, ella te empuja en la dirección correcta. Después de suficientes correcciones, las respuestas del modelo empiezan a sonar bien para un humano.

El truco es que la retroalimentación no necesita ser perfecta. No necesita una etiqueta para cada salida posible. Unas cuantas mil calificaciones de gente real bastan para guiar al modelo hacia respuestas que se sienten útiles.

RLHF es lo que transforma un modelo que puede hablar en uno que habla bien. Sin él, el modelo es solo un loro muy bueno. Con él, el modelo es un buen escritor.

La alternativa es hacer fine-tuning con datos etiquetados — darle al modelo cientos de ejemplos y dejar que memorice patrones. Eso también funciona, pero es frágil: el modelo repite lo que ha visto y le cuesta con lo que no ha visto. RLHF es más flexible porque la recompensa es continua — el modelo siempre está siendo empujado, no solo copiando.

Por qué nos importa: RLHF es la razón por la que las herramientas de IA que realmente usamos suenan como personas en vez de sonar como si estuvieran leyendo de un manual.