Monte Carlo lanza una herramienta de observabilidad para agents, porque los LLMs son difíciles de leer

Monte Carlo lanzó una herramienta que vigila a los agents — los que usan tools, llaman a APIs y encadenan varias llamadas a modelos — y registra lo que hacen para que los ingenieros puedan debuguearlos. Por un tiempo, la observabilidad estaba hecha para APIs y microservicios: latencia, errores, traces. Los agents movieron la meta. Una sola request puede spawnear una docena de llamadas a distintos modelos, cada una con prompts y tool calls diferentes. Las herramientas viejas no capturan eso.

La nueva herramienta se sienta entre tu agent y los modelos que llama. Loguea cada request y response, los une en el execution graph del agent, y expone los datos en un dashboard. Lo que obtienes es la capacidad de replayear una ejecución del agent y ver exactamente qué llamada al modelo produjo qué resultado — no solo la respuesta final, sino el camino hasta ahí. Esa es la cosa que hace posible el debugging de agents en lugar de adivinar.

Monte Carlo lleva un tiempo en el juego de observabilidad, sobre todo en data quality y pipelines. Esto los lleva a la capa de agents, donde los mismos problemas aparecen en una nueva forma. Si tus agents fallan en silencio o hacen las tool calls equivocadas, esto te da los traces para encontrarlo.

Por qué nos importa: los agents van a estar corriendo las herramientas que usa la gente — scheduling, pagos, búsquedas, toda la pila — y cuando se rompen a las 2am, necesitás saber por qué sin tener que escribir una nueva herramienta de debugging.