Google acelera respuestas de IA con prefix caching

Google acaba de lanzar prefix caching para su GKE Inference Gateway, una función que guarda respuestas repetidas de la API para que las mismas consultas no tengan que pasar por el modelo otra vez. El resultado: respuestas más rápidas y facturas más bajas para quien llame a la API.

Lo que hace el prefix caching es simple: cuando tu app hace la misma petición dos veces, el gateway sirve la copia cacheada en lugar de mandarla por todo el pipeline de inferencia. Es el mismo truco que usa tu abuela — no cocines lo mismo dos veces si ya tienes sobras. Para servicios de IA que manejan toneladas de consultas repetidas, esto se acumula rápido.

La jugada llega justo en medio de una carrera de infraestructura de IA. AWS, Azure y OpenAI están todos persiguiendo el mismo objetivo — hacer las llamadas a IA más baratas y rápidas para cualquiera que pague por token. La jugada de Google es hacer más fácil que las empresas que ya están en GKE optimicen sin reescribir su código.

Por qué nos importa: cada vez que Google reduce los costos de inferencia de IA, es una menos de las cosas que impiden que las pequeñas tiendas y negocios de la comunidad inmigrante pongan las herramientas de IA a su manera.