Decodificación especulativa: la prima que adivina la respuesta

Los modelos de lenguaje grande son lentos porque generan una palabra a la vez, esperando a que termine todo el cálculo antes de escribir el siguiente token. Es como un chef que solo pica una cebolla, espera a que termine, y luego pica la siguiente. Podrías contratar a un sous chef que adivine qué sigue. La decodificación especulativa hace exactamente eso. Un modelo pequeño y rápido —a menudo llamado el modelo "draft"— predice los siguientes tokens con anticipación. El modelo grande luego verifica el draft en un solo pase. Si el draft tiene razón, el modelo grande acepta todo el bloque. Si se equivoca, el modelo grande se detiene en el primer error y lo corrige. Obtienes la velocidad del modelo pequeño con la calidad del grande. El modelo grande sigue haciendo el pensamiento pesado, pero lo hace en lotes en lugar de uno a uno. Piensa en ello como una cena familiar. La tía en el teléfono adivina lo que quiere toda la mesa antes de que el plato principal esté listo. Puede que se equivoque con el postre, pero tiene razón con el plato principal. La cocina no tira su adivinanza; solo recorta la parte que está mal. Ese recorte es el paso de rechazo. El modelo draft es barato porque es pequeño. El modelo grande es caro porque es grande. Pagas el precio alto solo por las partes que realmente necesitas. El resultado es menos tokens generados por segundo, menor latencia y la misma calidad de salida. Nadie nota la diferencia en la respuesta final. Solo nota que es más rápido. Por eso tu teléfono puede ejecutar un modelo decente offline ahora. También es por eso que las empresas compiten por hacer los modelos draft más pequeños y más inteligentes. La carrera ya no es sobre el modelo grande. Es sobre quién puede adivinar mejor, más rápido y más barato.