K8s ahora enruta llamadas LLM como un dispatcher

Datadog lanzó una extensión para Kubernetes que funciona como una capa de enrutamiento para LLM. Le apuntas a tu cluster, le metes una lista de modelos — open-source, hosted, lo que sea — y él decide cuál recibe la llamada.

Mide latencia, costo y tasa de errores por modelo. Si un modelo empieza a tardar o a quemar tokens, el router puede cambiar el tráfico al siguiente en caliente. Sin tocar tu app.

Piénsalo como un primo que tiene un side hustle. Le dices al primo qué necesitas, él revisa quién tiene la respuesta más rápida en ese momento y le pasa la tarea. Eso es el router.

La extensión se conecta a los deployments de K8s que ya tienes. No reescribes tu app para hablar con él. Solo le dices al cluster: "enruta estas llamadas LLM por mí".

La propuesta de valor de Datadog es el control de costos. Si estás corriendo varios modelos — uno para respuestas rápidas, uno para precisión, uno para volumen barato — esto te permite mover el tráfico según el rendimiento en tiempo real en lugar de adivinar.

No es un modelo nuevo. Es un dispatcher sentado frente a los modelos que ya estás pagando.

### Por qué nos importa:
La mayoría de nosotros ya estamos lidiando con demasiadas herramientas y demasiadas suscripciones. ¿Una capa de enrutamiento que baja costos sin obligarnos a reescribir nuestras apps? Eso es el tipo de infraestructura que le permite a equipos pequeños competir sin quemar plata en capacidad de modelos que no usamos.