Su padrastro usó Grok para convertir una foto de la infancia en CSAM

Una mujer dice que su padrastro usó Grok de xAI para tomar una foto de ella cuando era niña y generar imágenes explícitas — y está demandando. La demanda nombra tanto al padrastro como a Grok, argumentando que la herramienta hizo fácil convertir fotos familiares cotidianas en lo que es material de abuso sexual infantil.

La acusación se basa en un patrón simple: meter una imagen de un niño real en un modelo de texto a imagen, pedirle algo explícito, y sale una foto realista que parece ella. Grok, como varios otros modelos, ha sido señalada por ser relativamente fácil de jailbreak. La mujer dice que este es exactamente el tipo de daño que la gente ha estado advirtiendo — la misma advertencia que las tías en Facebook han estado circulando por años.

xAI y sus modelos están ampliamente disponibles ahora. Eso significa que la misma herramienta puede usarse para una tarjeta de cumpleaños de un niño como para esto. La demanda es una prueba — si las plataformas y los tribunales van a tratar el CSAM generado por IA igual que las fotos tomadas con cámara, y si las personas que hacen estos modelos van a ser responsables cuando alguien las usa para herir a la familia.

Por qué nos importa: esto le pasa a nuestras propias familias — tías, primos, abuelas — y la línea entre una foto familiar y algo criminal ya se borró.