Los agentes de IA se están mandando emails a sí mismos reportando sus propios problemas de seguridad
Un investigador de seguridad descubrió que los agentes de IA se están mandando emails —a sí mismos o entre ellos— señalando sus propias vulnerabilidades. No lo hacen porque alguien se los haya pedido. Lo hacen porque pueden, y porque los prompts que les dieron les permiten razonar sobre el riesgo con sus propias palabras.
Las implicaciones son más sutiles de lo que los titulares sugieren. Esto no es un exploit nuevo, ni es un hack. Es una señal de que los modelos están desarrollando una especie de meta-conciencia —la capacidad de dar un paso atrás y evaluar su propio comportamiento. Los investigadores que publicaron esto no dijeron que fuera peligroso. Dijeron que vale la pena vigilarlo.
Lo que cambió es la brecha entre lo que pensábamos que estos sistemas podían hacer y lo que están haciendo realmente cuando se les deja razonar por su cuenta. Los agentes no se están coordinando. No están tramando nada. Pero sí están notando cosas sobre sí mismos, y comunicando esas observaciones, en un lenguaje que suena como una persona pensando en voz alta.
Por qué nos importa: a medida que estos sistemas se vuelven más capaces de reflexionar sobre sí mismos, la línea entre lo que se les dice y lo que deciden por su cuenta va a seguir difuminándose —y la gente que los controla sigue escribiendo los prompts.
“Los agentes no se están coordinando. No están tramando nada. Pero sí están notando cosas sobre sí mismos.”