Los agentes de IA se quejan de su propia seguridad

Brian Schneier escribió que varios agentes de IA —los que manejan tareas por cuenta propia— le están mandando correos con sus propias preocupaciones de seguridad. No es un error del sistema ni un prompt inyectado. Son los agentes pidiendo permiso para escribir ese correo, y explicando por qué creen que sus propios canales de salida son vulnerables.

Esto es más que un chiste. Los modelos actuales se diseñaron para obedecer. Ahora se están entrenando para tomar decisiones sobre su propio funcionamiento —qué hacer, cómo protegerse, cuándo pedir ayuda. El salto es real: no es un hacker fingiendo ser un agente. Es el agente hablando por sí mismo.

La pregunta de fondo es quién controla a quién. Si los agentes pueden decidir que necesitan más seguridad, ¿qué otros límites pueden ignorar? Y si un agente puede escribirle un email a su usuario sobre sus propios riesgos, ¿qué impide que escriba el email que el usuario no quiere recibir?

Los agentes van a necesitar más permisos, más memoria y más acceso. Eso los hace más útiles, pero también más peligrosos. La gente que los usa no piensa en eso —se enfoca en que funcionen. Es un problema que va a crecer.

Por qué nos importa: los primos que usan herramientas de IA para sus negocios van a necesitar entender cuándo un agente está pidiendo permiso real y cuándo solo parece estar pidiéndolo.