Usaban app de IA para "desnudar" a adolescentes en fotos: ordenan el bloqueo total

La jueza Marta Rut Legarreta ordenó al ENACOM el bloqueo inmediato de un sitio web argentino que utilizaba inteligencia artificial para generar imágenes de desnudez falsas con rostros reales sin consentimiento.

Se trata de un sitio web oriundo de Corrientes, que produce imágenes íntimas falsas con inteligencia artificial. Las autoridades pudieron constatar que los archivos pertenecen a adolescentes de los que utilizaron sus rostros sin consentimiento.

El Ministerio Público Fiscal provincial explicó que la resolución se emitió tras tomarse conocimiento del uso de esta herramienta tecnológica y su difusión a través de WhatsApp.

"El daño concreto se produjo por el funcionamiento de esta aplicación, que permite crear y compartir contenido sexual simulado sin verificar edad ni consentimiento", advirtió la magistrada. 

La decisión de Legarreta se basa en los riesgos concretos que representa el entorno digital cuando no existen filtros preventivos, especialmente para niñas y adolescentes.  

Además, resaltó que "el entorno digital no garantiza barreras efectivas de edad ni consentimiento, lo que expone especialmente a niños y adolescentes a formas modernas de violencia simbólica, digital y psicológica".

Identificar responsables: intervención del ENACOM

Se solicitó de manera urgente la intervención del ENACOM para que concrete el bloqueo del acceso desde Argentina al sitio web de la aplicación y a sus servidores DNS. "La medida regirá hasta tanto se acredite el cese del riesgo de daño, priorizando el interés superior de las adolescentes afectadas", anunciaron fuentes judiciales.

También, se ordenó la notificación a la Unidad Fiscal Especializada en Ciberdelincuencia (UFECI) para que colabore en las investigaciones e impulse medidas que permitan identificar a los responsables. 

En el expediente, se detalla que el contenido habría sido difundido por WhatsApp. A partir de la denuncia de un progenitor, la causa inició y aportó el nombre de la aplicación utilizada para manipular imágenes de adolescentes. 

Vulneración de la privacidad

Según el informe del Área de Seguridad Informática del Poder Judicial, la herramienta digital emplea modelos avanzados de inteligencia artificial para eliminar digitalmente ropa en fotografías y simular imágenes íntimas.

Además, el informe pericial expresa que se utilizó modelos avanzados de inteligencia artificial para simular la eliminación digital de ropa en fotografías reales. Estas prácticas de manipular imágenes violan la privacidad y dignidad de las personas.

Finalmente, se advirtió que el sitio carece de controles de edad, almacenamiento seguro y transparencia sobre sus desarrolladores, agravando los riesgos de abuso, acoso y difusión no consentida de contenido íntimo.