Los benchmarks no nos aplican

Un post nuevo dice que los benchmarks que todos usan para calificar modelos de IA son inútiles para la gente que realmente depende de ellos. El autor está trabajando en un sistema que corre cargas de trabajo reales, y los benchmarks estándar simplemente no se mapean a lo que mantiene las luces encendidas.

El artículo pasa por cómo los suites de pruebas habituales — los que miden qué tan bien un modelo escribe código o responde trivia — se pierden las cosas que importan cuando estás usando el modelo a escala. Latency, consistencia, costo por output, cómo falla bajo carga: nada de eso aparece en los leaderboards. Resulta que la brecha entre los scores de benchmarks y el performance real es más grande de lo que la mayoría cree, y la brecha sigue creciendo a medida que los modelos se hacen más grandes.

Por qué nos importa:
Si tu side gig o la tienda donde trabajas está empezando a usar herramientas de IA, los benchmarks en la portada de Hacker News no te van a decir si te van a ahorrar tiempo o solo a costarte más.