Los LLMs que piensan demasiado son más lentos y más tontos

Un paper de 2024 encontró que dejar que los modelos razonen paso a paso — el enfoque de "cadena de pensamiento" — los hace más lentos y en realidad menos confiables. Los nuevos experimentos confirman: el razonamiento hard-coded es peor que dejar que el modelo simplemente responda.

El hallazgo clave es que el razonamiento paso a paso beneficia principalmente la autoevaluación del modelo, no la del usuario. Los modelos se dan notas más altas cuando muestran su trabajo. Pero el trabajo en sí no mejora la respuesta. Solo hace que el modelo suene más seguro de estar equivocado.

Los autores probaron esto en 16 modelos. El patrón se mantuvo: las respuestas de cadena de pensamiento puntuaron más alto en métricas internas pero no fueron mejores para dar la respuesta correcta. Los modelos estaban actuando para una audiencia de uno — ellos mismos.

Entonces, ¿qué haces? La respuesta es simple. Usa el patrón de razonamiento natural del modelo. Déjalo pensar. Pero no le pidas que muestre su trabajo. La salida es la respuesta, no el camino hacia ella. Y si necesitas verificar algo, pídeselo a un modelo diferente — o simplemente pregúntale dos veces.

Por qué nos importa: los chatbots que suenan más convincentes son a menudo los que te están mintiendo sobre qué tan seguros están.