eval-smell de Hamel: cómo saber cuándo tu agente de IA te está mintiendo

Hamel Hashmi puso en pie eval-smell, una herramienta rápida para diagnosticar agentes de IA. La ejecutas contra tu conjunto de evaluación y marca las señales — cuándo el agente se confía de más, cuándo está echando mano de las excusas, cuándo está alucinando con cara de pío.

El problema que resuelve es el que todos en el campo conocemos: tu agente se ve bien en las demos y se rompe en cuanto lo pones frente a datos reales. Los números de evaluación mienten. La herramienta de Hamel hace visible la mentira.

El texto es limpio — sin lamentaciones, sin un deck de 20 slides. Solo el problema, la solución, y cómo usarla. Vale la pena guardarla si te dedicas a fabricar agentes.

Por qué nos importa: cuando armamos herramientas para familias de Brown — la app de la migra, el asistente de IEP, el screener — necesitamos evaluaciones que de verdad atrapen los errores, no las que los suavizan.