Armando una fábrica de IA sobre Kubernetes

El post nuevo de Cloudflare explica cómo mantienen la cache de DNS sin chuparse toda la RAM — un problema real cuando corren miles de zonas y la cache crece hasta ahogar al resto del sistema. La solución es una política de evicción más inteligente que bota primero las entradas menos útiles en vez de simplemente tirar las más viejas.

La misma semana, el CNCF publicó un how-to para levantar un stack de inferencia de IA sobre Kubernetes. Tratan los nodos con GPU como cualquier otro recurso, programando los modelos y workers a lo largo del cluster para que nada se quede quieto. La idea clave es que los workloads de IA no son fundamentalmente distintos a las apps que llevamos corriendo en k8s por años — solo necesitan más memoria y GPUs más rápidas.

Ambos posts son para la gente que de verdad maneja la infra: los engineers que se quedan desvelados cuando algo se rompe, no los VCs vendiendo la próxima plataforma. Son prácticos, no promocionales.

Por qué nos importa: los mismos clusters de k8s que corren nuestras apps ahora también manejan workloads de IA — y los bugs de cache que le bajan el rendimiento al DNS también le bajan el rendimiento a la inferencia, así que las soluciones de aquí aplican a todo el stack en el que dependemos.