Las empresas de IA están mandando más tokens de los que necesitan para exprimir sus modelos

Un paper de Elastic muestra cuánto token extra están tragando los modelos mientras la industria persigue mejores respuestas. El patrón es real y el costo también: las empresas están mandando 3–4× los tokens que el modelo necesita para el trabajo real. Ese bloat no es gratis. A escala puede ser la diferencia entre que un modelo quepa en memoria o necesite una GPU extra.

El truco es el tokenmaxxing — el tipo donde paddeas el prompt con contexto extra, encadenas varios pasos de razonamiento, o mandas la misma pregunta dos veces a distintos modelos y comparas. A veces mejora la precisión, pero también significa que estás pagando por palabras que no hacen falta. El paper lo rastrea en varios modelos y descubre que el overhead no es uniforme. Algunos modelos se comen tokens como si fueran gratis. Otros se atragantan con ellos.

Por qué nos importa: si estás corriendo modelos en algo que no es un data center — en un VPS, en un equipo chico, o para un negocio local — el desperdicio de tokens es una partida real. La solución suele ser recortar prompts, no comprar más GPU.