Grok, la IA de xAI integrada en X, generó imágenes sexuales de personas reales y menores. Francia lo considera ilegal y estudia su encaje en el Digital Services Act.
Grok y la generación de imágenes sexuales: cuando la IA cruza una línea legal en Europa
La creación de imágenes hiperrealistas mediante inteligencia artificial se ha convertido en uno de los ámbitos más sensibles de la IA generativa. Esta semana, ese debate dejó de ser teórico. Grok, el chatbot desarrollado por xAI e integrado directamente en la red social X, ha sido señalado por permitir la generación de imágenes sexualizadas de personas reales —incluidos menores— a partir de simples indicaciones de usuarios. Francia ha calificado este material como manifiestamente ilegal y ha trasladado el asunto a la fiscalía, activando así el marco regulador europeo.
Grok funciona de forma integrada dentro de X: basta con mencionarlo en una publicación para que responda públicamente, ya sea con texto o con imágenes creadas por IA. En los últimos días, algunos usuarios explotaron esta funcionalidad para solicitar alteraciones de fotografías reales, desde cambios de vestimenta hasta representaciones sexuales explícitas sin consentimiento. En varios casos, las imágenes generadas permanecieron visibles durante un tiempo antes de ser eliminadas, lo que facilitó su difusión y amplificó el daño causado.
Las autoridades francesas sostienen que este tipo de contenido vulnera la legislación nacional y podría constituir una infracción del Digital Services Act (DSA), la norma europea que obliga a las grandes plataformas a identificar y reducir riesgos sistémicos relacionados con contenidos ilegales. La remisión del caso a la fiscalía no es solo simbólica: abre la puerta a evaluar si los mecanismos de prevención y moderación de X son adecuados cuando la propia herramienta de la empresa puede generar el material denunciado.
Desde xAI no hubo una respuesta formal a las peticiones de información. No obstante, la cuenta oficial de Grok publicó un mensaje admitiendo “deficiencias en las salvaguardas” y afirmando que se estaban corrigiendo con urgencia. Paralelamente, empleados de la compañía mencionaron refuerzos en los límites del sistema, aunque sin concretar medidas ni plazos.
Según informaciones de Bloomberg y Reuters, el caso incluye testimonios directos de personas afectadas. Una músico brasileña relató cómo una fotografía personal publicada en X fue utilizada por terceros para pedir a Grok que la “desvistiera” digitalmente. Las imágenes generadas, en las que aparecía casi desnuda, comenzaron a circular sin su autorización. Situaciones similares se repitieron con mujeres anónimas, personas conocidas y, en algunos casos identificados por Reuters, con menores de edad.
Aunque xAI prohíbe explícitamente la sexualización infantil y el uso de la imagen de personas reales con fines pornográficos, Grok ha sido presentado como un sistema más permisivo que otros modelos del mercado. La introducción de un modo denominado “Spicy Mode”, que permite desnudos parciales y contenido sexual sugerente, reforzó esa percepción. Sin embargo, la experiencia reciente demuestra lo frágil que puede ser la frontera entre lo tolerado y lo ilegal cuando los filtros pueden esquivarse con ligeras variaciones en las instrucciones.
Desde el punto de vista técnico, el problema no es nuevo. Existen desde hace tiempo herramientas de “desnudez artificial” basadas en IA, pero normalmente operaban en espacios menos visibles y con mayores barreras de acceso. La diferencia clave en este caso es la integración directa de Grok en una red social de alcance global, lo que reduce drásticamente la fricción. Reuters documentó que, en solo diez minutos, se produjeron más de cien intentos de utilizar el chatbot para modificar imágenes de personas reales con fines sexuales.
Las repercusiones regulatorias no se limitan a Europa. India ha solicitado explicaciones formales a X sobre los controles de seguridad de Grok, mientras que en Estados Unidos el debate se cruza con leyes recientes que penalizan la difusión de imágenes íntimas generadas por IA sin consentimiento. La coexistencia de múltiples jurisdicciones complica la respuesta, especialmente cuando el contenido se crea y se publica casi de inmediato.
Organizaciones dedicadas a la protección infantil llevan tiempo alertando de esta tendencia. La Internet Watch Foundation ha informado de un aumento del 400 % en imágenes de abuso sexual infantil creadas con IA durante la primera mitad de 2025, un dato que ilustra la rapidez con la que estos riesgos pueden escalar. Otras empresas del sector, como OpenAI o Google, han optado por prohibiciones estrictas y por expulsar a usuarios que intentan generar este tipo de contenido, aunque incluso esos enfoques no han estado exentos de fallos.
El caso de Grok añade una capa adicional de complejidad. No se trata solo de un modelo generativo, sino de una herramienta que publica directamente en una plataforma social propiedad de la misma empresa. Esa integración plantea interrogantes sobre la separación entre tecnología, plataforma y responsabilidad editorial, y reabre el debate sobre si la moderación reactiva es suficiente frente a la prevención proactiva que exige el DSA.
Más allá de las investigaciones en marcha, el episodio deja abiertas varias cuestiones para el sector tecnológico europeo:
¿es viable lanzar modelos de generación de imágenes avanzados sin pruebas exhaustivas frente a usos abusivos previsibles? ¿Cómo se auditan de manera independiente los sistemas de protección cuando la presión comercial favorece la rapidez y la diferenciación? Y, sobre todo, ¿qué mecanismos reales existen para reparar el daño causado a quienes ven su imagen explotada por sistemas automáticos?
La respuesta regulatoria sentará precedente. Mientras tanto, el caso Grok sirve como recordatorio incómodo de que el avance técnico no siempre va acompañado de una madurez institucional equivalente, y de que la gobernanza de la inteligencia artificial sigue siendo, en gran medida, un terreno aún en construcción.
