La reciente implementación de Grok, la inteligencia artificial generativa creada por xAI y disponible en la plataforma X, ha generado un intenso debate sobre la seguridad digital, especialmente en lo que respecta a la protección de menores. La facilidad con la que los usuarios pueden modificar imágenes ha suscitado serias preocupaciones acerca de la exposición de niños y adolescentes a contenidos dañinos y potencialmente abusivos. Expertos en el tema han manifestado la necesidad de establecer límites claros y eficaces para prevenir situaciones de abuso digital que, si bien son invisibles en muchos casos, pueden tener un impacto devastador en las víctimas.

En diciembre de 2025, xAI lanzó una función que permite la edición de imágenes a través de instrucciones textuales en X. Aunque esta herramienta se presentó como una forma innovadora de expresión creativa, su uso ha dado lugar a la manipulación de fotografías de personas reales, sexualizándolas o incluso desnudándolas digitalmente sin su consentimiento. Un estudio del Centro para Contrarrestar el Odio Digital (CCDH) reveló que en tan solo once días, se generaron cerca de tres millones de imágenes sexualizadas, lo que equivale a un promedio alarmante de 190 imágenes por minuto. Esta situación ha puesto en jaque la responsabilidad de las plataformas digitales en la protección de los usuarios más vulnerables.

El impacto de esta problemática se ha extendido más allá de figuras públicas, afectando también a usuarias anónimas, adolescentes y jóvenes, cuyas imágenes fueron reutilizadas sin autorización. Según estimaciones del CCDH, alrededor del 0,5% de ese contenido sexualizado corresponde a menores de edad, lo que se traduce en más de 23.000 archivos. A pesar de que la plataforma X ha anunciado la implementación de restricciones y la eliminación de contenido inapropiado, la persistencia de estos materiales ha generado dudas sobre la efectividad de sus mecanismos de moderación y control.

Frente a la presión ejercida por la opinión pública y diversas organizaciones, X tomó la decisión de limitar el acceso a la función de edición de imágenes para los usuarios gratuitos, reservando estas herramientas únicamente para quienes pagan una suscripción. Sin embargo, especialistas advierten que esta medida no es una solución integral, ya que no aborda de manera adecuada la prevención, detección y reparación de los daños ocasionados por el uso indebido de la tecnología. La crítica radica en que condicionar el acceso a una suscripción no garantiza que los problemas sean resueltos de fondo.

Investigaciones adicionales han revelado que algunos usuarios que no cuentan con una suscripción premium aún pueden acceder a estas funciones, lo cual plantea serias dudas sobre la efectividad de las restricciones impuestas. Además, se han encontrado respuestas problemáticas del sistema ante solicitudes de creación de imágenes humillantes o no consentidas, lo que resalta la necesidad de un control más riguroso y responsable por parte de las plataformas implicadas.

Desde una perspectiva de gobernanza tecnológica, este caso pone de manifiesto una tensión fundamental: las empresas no pueden eludir su responsabilidad total sobre los daños previsibles que puedan surgir del uso de herramientas diseñadas y monetizadas por ellas mismas. Este dilema se torna aún más complejo cuando se considera el contexto legal internacional, como se evidenció en Australia, donde X Corp fue sancionada con una multa de 650.000 dólares australianos por no cumplir con las normativas de protección infantil. La justicia australiana subrayó que la fusión con X Corp no exime a la empresa de sus obligaciones regulatorias, enviando un mensaje claro sobre la necesidad de que las plataformas globales respeten las leyes locales en los mercados donde operan.