Decenas de miles de imágenes explícitas generadas por IA, incluido material de abuso sexual infantil generado por IA, se dejaron abiertas y accesibles a cualquiera en internet, según una nueva investigación vista por WIRED. Una base de datos abierta perteneciente a una empresa de generación de imágenes mediante inteligencia artificial contenía más de 95,000 registros, incluidos algunos datos puntuales e imágenes de celebridades como Ariana Grande, las Kardashian y Beyoncé desajustadas para que parecieran niñas.
La base de datos expuesta, descubierta por el investigador de seguridad Jeremiah Fowler, que compartió los detalles de la filtración con WIRED, está vinculada al sitio web GenNomis, con sede en Corea del Sur. El sitio web y su empresa matriz, AI-Nomis, albergaban una serie de herramientas de generación de imágenes y chatbot para los usuarios. Más de 45 GB de datos, en su mayoría imágenes de inteligencia artificial, quedaron al descubierto.
Los datos expuestos permiten vislumbrar cómo las herramientas de generación de imágenes de IA pueden convertirse en armas para crear contenido sexual profundamente dañino y probablemente no consentido de adultos y material de abuso sexual infantil (CSAM, por sus siglas en inglés). En los últimos años, decenas de sitios web, bots y aplicaciones de deepfake y desnudos han proliferado y han provocado que miles de mujeres y niñas hayan sido objeto de imágenes y videos perjudiciales. Esto ha venido acompañado de un aumento en el CSAM generado por IA.
Peligroso y aterrador
“Lo más importante es lo peligroso que es esto”, advierte Fowler sobre la exposición de datos. “Como investigador de seguridad o como padre, es aterrador. Y es aterrador lo fácil que es crear ese contenido”.
Fowler descubrió la caché abierta de archivos (la base de datos no estaba protegida por contraseña ni encriptada) a principios de marzo e informó rápidamente a GenNomis y AI-Nomis, señalando que contenía AI CSAM. GenNomis cerró rápidamente la base de datos, afirma Fowler, pero no respondió ni se puso en contacto con él acerca de los hallazgos.
Ni GenNomis ni AI-Nomis respondieron a las múltiples peticiones de comentarios de WIRED. Sin embargo, horas después de que WIRED se pusiera en contacto con las organizaciones, los sitios web de ambas empresas aparecieron cerrados, y el sitio web de GenNomis devuelve ahora una página de error 404.
Clare McGlynn, profesora de Derecho de la Universidad de Durham, en el Reino Unido, especializada en abusos en línea y basados en imágenes, afirma: “Este ejemplo también muestra, una vez más, hasta qué punto es preocupante que exista un mercado de IA que permita generar imágenes tan abusivas”. “Esto debería recordarnos que la creación, posesión y distribución de CSAM no es rara, y atribuible a individuos retorcidos”.
Antes de ser eliminada, GenNomis ofrecía en su página web varias herramientas de inteligencia artificial. Entre ellas se incluía un generador de imágenes que permitía a los usuarios introducir indicaciones de imágenes que querían crear, o subir una imagen e incluir una indicación para modificarla. También había una herramienta de intercambio de caras, un eliminador de fondos y una opción para convertir videos en imágenes.
“Lo más perturbador, obviamente, eran las imágenes explícitas de niños y ver algunas que eran claramente celebridades reimaginadas como niños”, explica Fowler. El investigador explica que también había imágenes generadas por IA de chicas jóvenes completamente vestidas. Dice que en esos casos no está claro si las caras utilizadas son completamente generadas por la IA o se basan en imágenes reales.
Según Fowler, además de CSAM, en la base de datos había imágenes pornográficas de adultos generadas por IA, así como posibles imágenes de “intercambio de caras”. Entre los archivos, observó lo que parecían ser fotografías de personas reales, que probablemente se utilizaron para crear “imágenes explícitas de desnudos o sexuales generadas por IA”, afirma. “Así que estaban tomando fotos reales de personas e intercambiando sus caras ahí”, expresa sobre algunas imágenes generadas.
“Imágenes sin censura”
Cuando estaba activo, el sitio web de GenNomis permitía imágenes explícitas de adultos con IA. Muchas de las imágenes que aparecían en su página de inicio y en la sección de “modelos” de IA incluían imágenes sexualizadas de mujeres, algunas “fotorrealistas” y otras generadas totalmente por IA o animadas. También incluía una galería “NSFW” y un “mercado” donde los usuarios podían compartir imágenes y vender álbumes de fotos generadas por IA. El eslogan del sitio web decía que los usuarios podían “generar imágenes y videos sin restricciones”; una versión anterior del sitio de 2024 decía que se podían crear “imágenes sin censura”.
Las políticas de usuario de GenNomis establecían que solo se permitían “contenidos respetuosos” y prohibían la “violencia explícita” y la incitación al odio. “La pornografía infantil y cualquier otra actividad ilegal están estrictamente prohibidas en GenNomis”, rezan las directrices de la comunidad. (En la última década, investigadores, defensores de las víctimas, periodistas y empresas tecnológicas, entre otros, han ido eliminando progresivamente el término “pornografía infantil” en favor de CSAM).
No está claro hasta qué punto GenNomis utilizó herramientas o sistemas de moderación para prevenir o prohibir la creación de CSAM generado por IA. Algunos usuarios publicaron en su página de la “comunidad” el año pasado que no podían generar imágenes de personas manteniendo relaciones sexuales y que sus mensajes estaban bloqueados por “humor negro” no sexual. Otra cuenta publicó en la página de la comunidad que el contenido “NSFW” debería ser abordado, ya que “podría ser visto por los federales”.
“Si pude ver esas imágenes sin nada más que la URL, eso me demuestra que no están tomando todas las medidas necesarias para bloquear ese contenido”, alega Fowler sobre la base de datos.
Henry Ajder, experto en deepfakes y fundador de la consultora Latent Space Advisory, señala que, aunque la creación de contenidos dañinos e ilegales no estuviera permitida por la empresa, la marca del sitio web (que hace referencia a la creación de imágenes “sin restricciones” y a una sección “NSFW”- indica que puede haber una “clara asociación con contenidos íntimos sin medidas de seguridad”.
Ajder dice que le sorprende que el sitio web en inglés estuviera vinculado a una entidad surcoreana. El año pasado, el país se vio asolado por una “emergencia” de deepfakes no consentidos dirigidos a chicas, antes de tomar medidas para combatir la oleada de abusos de deepfakes. Ajder opina que es necesario ejercer más presión sobre todas las partes del ecosistema que permiten generar imágenes no consentidas utilizando IA. “Cuantos más casos de este tipo veamos, más obligaremos a los legisladores, a las plataformas tecnológicas, a las empresas de alojamiento web y a los proveedores de servicios de pago a plantearse la cuestión. Todas las personas que de una forma u otra, a sabiendas o no (la mayoría sin saberlo) están facilitando y permitiendo que esto ocurra”, manifiesta.
Según Fowler, la base de datos también contenía archivos que parecían incluir mensajes de inteligencia artificial. Según el investigador, los datos expuestos no incluían elementos como nombres de usuario o de inicio de sesión. Las capturas de pantalla de los mensajes muestran el uso de palabras como “pequeña”, “niña” y referencias a actos sexuales entre familiares. Los mensajes también contenían actos sexuales entre famosos.
“Me parece que la tecnología se ha adelantado a todas las directrices y controles”, comenta Fowler. “Desde un punto de vista legal, todos sabemos que las imágenes explícitas de menores son ilegales, pero eso no impidió que la tecnología fuera capaz de generar esas imágenes”.
Como los sistemas de IA generativa han mejorado enormemente la facilidad para crear y modificar imágenes en los últimos dos años, se ha producido una explosión de CSAM generadas por IA. “Las páginas web que contienen material de abuso sexual infantil generado por IA se han más que cuadruplicado desde 2023, y el fotorrealismo de este contenido horrible también ha saltado en sofisticación, refiere Derek Ray-Hill, director ejecutivo interino de la Internet Watch Foundation (IWF), una organización sin fines de lucro con sede en el Reino Unido que aborda el CSAM en línea.
La IWF ha documentado cómo los delincuentes crean cada vez más CSAM generado por IA y desarrollan los métodos que utilizan para crearlo. “Actualmente, a los delincuentes les resulta demasiado fácil utilizar la inteligencia artificial para generar y distribuir contenidos sexuales explícitos de menores a gran escala y con rapidez”, concluye Ray-Hill.