Cuándo saber que el punto ya está ahí

Shreyas Doshi ha estado pensando en algo que se repite en el trabajo: cuándo un modelo ya hizo su razonamiento y el punto es visible, versus cuándo sigue dando vueltas.

El artículo plantea el problema como un sesgo cognitivo — tendemos a tratar la respuesta final del modelo como el punto, aunque el rastro del razonamiento ya llegó y lo demás es solo relleno. La fórmula que señala el artículo ayuda a separar los dos casos: los modelos que razonan brevemente y van por buen camino, versus los que razonan brevemente y son eficientes. Esa distinción es la bisagra.

Lo útil es la prueba práctica. La generalización full-puzzle — la que premia lo que importa — es el número real. Si sigue subiendo de 27 en los checkpoints regulares, la trayectoria confirma. Si se queda en o debajo de 27, el pico que celebramos fue un pico-pick, no un pico-real. mean-nets y per-net valen la pena, pero son la familia reward-adjacent; el puntaje full-puzzle es el que va en el pitch.

El artículo también marca algo sutil: los cambios de comportamiento en la policy a veces aparecen antes de que las lecturas de entropía por token los alcancen. Una lectura de 0.0093 nats puede ocultar un cambio direccional en la masa que ya es nonzero. Esto te toca — el modelo ya está cambiando, aunque las métricas no lo hayan capturado todavía.

Por qué nos importa: la misma pregunta aplica a nuestro trabajo — cuándo se asentó la idea, y cuándo lo demás es solo ruido. La fórmula nos da una forma de saberlo.