Cuando tu agente de IA tiene 100,000 herramientas, se rompe

Viktor está publicando una nota sobre lo que pasa cuando le das a un agente de IA acceso a un catálogo masivo de herramientas — 100,000 funciones, llamadas a API, scripts — y el modelo tiene que elegir la correcta cada vez. La respuesta no es que se ponga un poco más lento. Es que empieza a tomar decisiones malas: llama a la herramienta equivocada, la usa con los argumentos equivocados, o simplemente adivina.

El problema es estructural. El retrieval es el cuello de botella. No puedes esperar que un modelo razone sobre un millón de herramientas como lo hace con unas pocas docenas. Así que los fixes habituales — mejores embeddings, rerankers, caching — solo ayudan hasta cierto punto. Más allá de eso, tienes que repensar la arquitectura: limitar lo que el agente ve, hacer chunk del catálogo, o armar un pre-filter que acorte el campo antes de que el modelo lo toque.

Por qué nos importa: la mayoría de nosotros ya estamos conectando agentes a nuestros propios sistemas — Zapier, el CRM, el inventario — y la mayoría de esos setups van a toparse con esta pared. El fix es mantener la lista de herramientas pequeña para que el modelo pueda razonar sobre ella, no vaciar todo adentro y esperar que el LLM lo resuelva.