Alucinación — cuando el bot inventa cosas

Una alucinación es cuando un modelo de lenguaje grande dice algo con total confianza y no es verdad. Suena real. No lo es. El modelo no está mintiendo — no sabe que está mintiendo — solo está generando la siguiente palabra plausible sin verificar los hechos contra el mundo real.

Piensa en un primo que siempre tiene una historia sobre la bodega de la esquina. Jura que el dueño es su tío, jura que los plátanos son los mejores del barrio, jura que trabajó ahí tres años. Lo hace con buenas intenciones. Es buena gente. Pero la mitad del tiempo está mezclando historias de distintos fines de semana. Eso es una alucinación.

El modelo no tiene un módulo de memoria separado que consulta para verificar hechos. Solo predice palabras basándose en patrones que vio durante el entrenamiento. Si un hecho apareció en los datos de entrenamiento, a veces el modelo puede reproducirlo. Si no, el modelo inventará algo que parece un hecho porque la estructura de la oración se parece a un hecho. El modelo no tiene forma de distinguir entre los dos.

Por eso no debes pegar una alucinación en un documento de trabajo sin verificarla. El modelo citará con gusto un caso que no existe, una estatuto que nunca se promulgó, un número de teléfono que pertenece a otra persona. La única defensa es verificar — o usar un modelo con un sistema de recuperación que realmente busque las cosas antes de escribir.

Pídele al modelo sus fuentes, y luego verifícalas tú mismo.