Correr modelos local ya está bien de verdad

Vicky Boykis armó un post largo sobre correr modelos de IA localmente — y el equipo de TLDR lo tomó como uno de los mejores reads de la semana. El piece pasa por lo que cambió: ya no necesitas una GPU de $5,000 para obtener resultados útiles, y el software stack ya se puso al día.

Lo que importa es el cambio. Los modelos en la nube están bien cuando tienes un flujo constante de tráfico y alguien para manejar las cuentas. Los modelos locales son para la gente que quiere ser dueña de sus datos, que no quiere pagar por llamada, que quiere correr las cosas en sus propias máquinas. El hardware está más barato. Las herramientas son más fáciles. Ya puedes entrenar tus propios modelos sin convertirte en ingeniero a tiempo completo.

Boykis también menciona mandarle emails a desconocidos — una cosita que dice algo más grande. Cuando los modelos corren local, dejan de ser un servicio y empiezan a ser una herramienta. Dejas de hablarle a una empresa y empiezas a hablarle a tu propia máquina. La gente que trabaja en side businesses, que corre sus propios sitios, que no quiere pagar $0.01 cada vez que le pregunta algo — esto es para ellos.

Por qué nos importa: la gente que está construyendo cosas fuera de Silicon Valley acaba de tener muchas más opciones, y el costo de hacerlo a nuestras propias reglas sigue bajando.