Qué significa realmente el context window de un modelo

Cada modelo de IA tiene un context window — la cantidad total de texto que puede guardar en su memoria de trabajo a la vez. Piensa en eso como la pila de papeles sobre tu escritorio. Si es de 8K tokens, son como 8,000 palabras. Una vez que excedes el límite, el modelo empieza a tirar lo más viejo — el inicio de la conversación, el documento que pegaste, las instrucciones que escribiste — porque no cabe todo.

Esto no es un bug. Es una limitación física. El modelo solo puede atender a tantos tokens a la vez. Cuando se llena el window, los tokens más viejos salen empujados. El modelo olvida lo que le dijiste hace cinco mensajes.

Así que cuando un bot de pronto empieza a hallucinar o a olvidar tu nombre, probablemente el window está lleno. La solución no es pedirle más fuerte — es acortar el context. Resume las partes viejas. Abre un thread nuevo. Dale al modelo solo lo que necesita ahora.

Los windows más grandes ayudan, pero también cuestan más. Un window de 200K puede contener una novela, pero pagas por token. El trade-off es real.

La jugada práctica: mantén tus conversaciones tight. Si un documento tiene 50 páginas, no lo pegues entero. Pídele al modelo que lo resuma primero, y luego pega el resumen. Vas a tener mejores respuestas y no va a olvidar la setup.

Cómo saberlo: si un AI empieza a contradecirse en medio de la conversación, perdió el context original. Empieza de nuevo.