Tus benchmarks no aplican para nosotros

Marble es un framework open-source para evaluar la calidad de productos con IA, y su argumento central es simple: las métricas que la gente usa para juzgar modelos no sirven para las apps construidas encima de ellos.

El post explica por qué los benchmarks habituales —precisión en un dataset de prueba, latencia, costo por llamada— se pierden lo que realmente determina si un producto se siente bien. Un modelo puede tener puntaje alto en un eval estándar y aun así darle al usuario la respuesta incorrecta en contexto. Al revés, un modelo más débil puede sentirse mejor si está afinado para una tarea específica y maneja los edge cases con limpieza.

El enfoque de Marble es evaluar el producto, no el modelo. Eso significa medir cosas como si la salida realmente resuelve el problema, qué tan consistente es entre prompts similares, y si falla de formas predecibles. El framework es open source.

Esto es lo correcto. Todos están tirando features de IA y midiendo con la regla equivocada. Las compañías que aprendan a evaluar sus productos —no solo sus modelos— van a saber quién gana antes que los benchmarks.

Por qué nos importa: lo mismo aplica para nuestras apps —necesitamos medir si funcionan para la gente que las usa, no solo si el modelo tiene buen puntaje en un test set.