¿Qué son los tokens? La unidad de medida de la IA explicada

Los tokens son cómo los modelos de IA cuentan y procesan el lenguaje. Cuando escribes una pregunta, la IA no la lee palabra por palabra — la corta en pedazos llamados tokens.

Un token son aproximadamente cuatro caracteres. Un token suele ser como tres cuartos de una palabra. Así que la frase "Los tokens son cómo los modelos de IA cuentan el lenguaje" se divide en unos once tokens, no once palabras.

Piensa en los tokens como las fichitas de plástico que compras en la bodega para la máquina de arcade. Cada ficha es una unidad. Le das al empleado un puñado de fichas. La caja las cuenta. La máquina no le importa que algunas fichas vinieron de tu tía y otras de tu tío — solo cuenta.

Por qué importan los tokens: mientras más tokens en tu prompt, más te cobra la IA. No puedes seguirle mandando párrafos para siempre. Al final la caja suena y paras.

Por eso a veces la IA parece que está alucinando. Cuando el modelo se queda sin tokens, empieza a adivinar al final. Como un cocinero que se quedó sin ingredientes y solo echa lo que haya en el refrigerador.

Si estás construyendo apps o usando herramientas de IA, los tokens son la nueva moneda. Así se mide tu uso, así se acumulan tus costos, y cuánto del cerebro del modelo se gasta.

Pregúntale a tu primo dev: ¿tu herramienta cuenta los tokens por palabra o por carácter? La respuesta cambia tu factura.