Dejame hacer click — el problema callado de las capturas con IA

Ilya Birman escribió una nota corta sobre cómo las herramientas de IA están empezando a trabajar con screenshots en vez de texto plano. La idea es simple: el modelo ve el escritorio, lee lo que hay ahí, y hace el trabajo. Sin copiar y pegar. Sin pegamento de API. Apuntas, haces click, listo.

Suena conveniente hasta que te das cuenta de lo que es en realidad. El modelo está mirando píxeles y fingiendo que lee la pantalla. Eso es un parche, no una feature — y los parches se rompen cuando cambia el layout, la fuente se mueve, o la ventana se desplaza unos píxeles. El modelo no entiende lo que está viendo; adivina. Cada vez.

El problema real es que esto se vuelve la interfaz por defecto para mucho trabajo. Cuando empiezas a enrutar tareas por screenshots, pierdes el contrato limpio entre la herramienta y el texto. Todo se vuelve borroso en los bordes. Y mientras más le apuntas, más difícil es saber cuándo el modelo está haciendo algo útil versus solo luciendo seguro.

Hay una mejor forma: dejar que el modelo lea el DOM, parsee el JSON, y use la API. Toma más trabajo al principio, pero funciona siempre. Screenshot-based interaction is a bandaid. Bandaids wear out.

Por qué nos importa: lo mismo está pasando con las herramientas de IA en el taller y el restaurante — modelos intentando leer recibos, facturas y work orders desde fotos. Parece conveniente hasta que se rompe un martes por la mañana y nadie sabe por qué. Construye el camino limpio primero.