El nuevo compilador de ML de Microsoft acelera modelos en CPUs y GPUs

Microsoft lanzó MSLK, un compilador que toma modelos de machine learning y los reescribe para que corran más rápido en cualquier hardware que tengas — CPUs, GPUs, lo que sea. La idea es sencilla: entrenas un modelo una vez, y luego MSLK se encarga de hacer que corra eficiente en tu máquina. Ya no más reescribir el mismo modelo cinco veces distintas para diferentes backends.

Lo que hace esto interesante es que las cargas de trabajo de ML están en todas partes ahora — desde motores de recomendación hasta las funciones de IA que se están integrando en apps cotidianas — y cada vez que despliegas un modelo, estás haciendo elecciones de hardware que afectan el costo y la velocidad. MSLK se coloca entre el modelo y el chip, optimizando la ruta de ejecución. Si estás corriendo inferencia a escala, esta es la clase de herramienta que silenciosamente ahorra dinero en cada request.

Por qué nos importa: mientras más rápido y barato corran estos modelos, más probable es que terminen en las herramientas que usamos todos los días, y menos pagamos por el compute que los hace funcionar.