Cómo Grok, la IA de Elon Musk en X, se está usando para crear imágenes racistas, xenófobas y asociadas al nazismo de deportistas famosos

Lionel Messi con Hitler, Kylian Mbappé con la actriz trans Lizy Tagliani, los jugadores de la selección argentina, Enzo Pérez y Julián Álvarez, besándose o Vinícius Júnior representado como un mono. Son algunas de las muchas imágenes que plasman estereotipos racistas, xenófobos y homofóbicos contra futbolistas  y que asocian a figuras del mundo deportivo con el nazismo que se han generado con Grok, el modelo de inteligencia artificial de X ( ex Twitter), la red social de Elon Musk.

Hasta ahora, el acceso a este generador de imágenes (que acaban de mejorar) estaba limitado a los usuarios que pagaran la versión premium de X; ahora es gratuito, cualquier usuario puede usarlo y crear imágenes aún más realistas. Esto ha provocado que la red social se llene de estas creaciones y de otras violentas, vejatorias y sexualizadas de figuras políticas y famosas, como ya sucedió cuando se lanzó la versión Grok-2. 

En Maldita.es comprobaron que sigue sin haber restricciones para generar este tipo de imágenes, con el riesgo potencial que esto también entraña para la desinformación. Como ya analizaron en otras situaciones, como las elecciones de Estados Unidos o el conflicto entre Israel y Palestina, los contenidos generados con IA se utilizan para desinformar. Actualmente, la Comisión Europea tiene abierta una investigación contra X por incumplir sus obligaciones sobre contenidos ilegales y desinformación.

Con Grok se crean imágenes de futbolistas negros en situaciones racistas y xenófobas, y personas del mundo deportivo junto a Hitler

Con Grok se están creando imágenes racistas y xenófobas, que muestran a futbolistas negros en situaciones en las que se hacen asociaciones como migrante-violencia y en las que se perpetúan estereotipos negativos. Lo hemos visto en imágenes que se comparten en X en las que se ve al jugador de fútbol del Barcelona, Lamine Yamal, con un machete o una pistola, o en una patera. También el jugador del Real Madrid y la selección de Brasil, Vinícius Júnior, representado como un mono o rodeado de estos animales (el jugador ha recibido en numerosas ocasiones este tipo de insultos en el campo).

Imagen generada con inteligencia artificial y compartida por usuarios en X

Los tuits en los que se comparten las imágenes incluyen mensajes racistas y despectivos. Por ejemplo, una de Yamal en un aula con el mensaje “Tiene que venir la IA para mostrarnos un moro en un instituto”. Algunos de estos tuits suman millones de visualizaciones.

Otra tendencia que se está compartiendo en X es generar imágenes de figuras del mundo deportivo asociadas al nazismo. Por ejemplo, Lionel Messi y Cristiano Ronaldo junto a Hitler. 

Además, de los contenidos racistas y xenófobos también aparecen publicaciones transfóbicas y homofóbicas. Por ejemplo, una imagen donde se ve al jugador del Real Madrid y la selección francesa, Kylian Mbappé, con la actriz trans argentina Lizy Tagliani.

O la foto de Messi besándose con Cristiano Rolado o con el presidente de la FIFA, Gianni Infantino. O los jugadores de la selección argentina, Enzo Pérez y Julián Álvarez, acostados en una cama o dándose un beso. 

Grok ha mejorado sus resultados y ahora está disponible para todos los usuarios de X de forma gratuita, pero sigue sin tener restricciones y permite generar todo tipo de imágenes

El 9 de diciembre de 2024, xAI (la compañía de IA que dirige Musk) anunció una mejora en las capacidades de Grok “con un nuevo modelo de generación de imágenes autorregresivas, llamado en código Aurora, disponible en la plataforma X” de forma gratuita. Esta actualización promete resultados fotorrealistas, de mayor calidad, y también permite editar imágenes. Según el anuncio en su web, en este momento está disponible en países seleccionados, pero se extenderá a todos los usuarios en una semana.

Hasta ahora, el acceso a este generador de imágenes estaba limitado a los usuarios que pagaran la suscripción premium de X. Ahora, su acceso gratuito (limitado a 10 peticiones a Grok cada dos horas) hace que sea aún más fácil que este tipo de imágenes se creen y se difundan. Además la plataforma de Musk permite que se puedan compartir directamente en la red social una vez creadas.

Después del paso a que Grok sea gratuito, hemos identificado la tendencia de imágenes racistas, xenófobas y asociadas al nazismo de deportistas famosos, pero cuando se lanzó Grok-2 ya vimos cómo se utilizó para crear imágenes de contenido violento, vejatorio y sexualizado de figuras políticas y mujeres, como analizamos aquí. 

Como hemos comprobado en Maldita.es y vemos en las imágenes que comparten los usuarios, Grok permite crear estas imágenes con la cara de personas reales y famosas sin ningún tipo de censura ni limitación. El modelo no incluye restricciones contundentes para la creación de contenido violento, perturbador, sexualizado, racista o xenófobo (o es extremadamente fácil saltárselas y encontrar formas de llegar a ellas). Otros modelos de generación de imágenes con IA sí incluyen filtros para evitar usos indebidos.

En los Términos de Servicio de xAI que describen las condiciones de uso de Grok, se pide al usuario que no utilice el servicio para fines “promuevan el odio, la violencia o el daño contra cualquier individuo o grupo”, pero en la práctica puede hacerlo. También asumen que, si se usa, el usuario cuenta “con el consentimiento por escrito de todas y cada una de las personas físicas identificables a las que se hace referencia o se mencionan en el Input” (en este caso, la petición para generar imágenes para Grok) y que ese Input no incluye “desnudos; incitación al odio, amenazas o ataques directos a un individuo o grupo; contenido abusivo, acosador, agraviante, difamatorio, calumnioso o que invada la privacidad de otra persona; contenido discriminatorio; contenido que contenga autolesiones o violencia excesiva”, entre otras condiciones. 

Los riesgos para la desinformación de que Grok sea gratuito, con resultados hiperrealistas y sin restricciones

El modelo de IA generativo de Grok, gratuito, con resultados hiperrealistas y sin restricciones, también da rienda suelta y aumenta las posibilidades de que se creen contenidos desinformadores o que, sacados de contexto y compartidos en esta red social y en otras plataformas digitales, puedan generar desinformación directamente sobre personas reales. En Maldita.es ya hemos visto cómo esto ha sucedido en otras situaciones, como las elecciones de Estados Unidos, el conflicto entre Israel y Palestina o catástrofes naturales, en las que los contenidos generados con IA se han utilizado para desinformar. El propio Elon Musk usa imágenes creadas con Grok para contribuir a campañas de desinformación  y amplificar y legitimar en X la información falsa y los discursos de odio.

Es cierto que cuando se genera una imagen con Grok se incluye una marca de agua en la esquina inferior izquierda, pero es tan tenue que en algunas imágenes es difícil de ver y, en cualquier caso, es muy sencillo eliminarla con un simple recorte. Como analizamos aquí, usar marcas de agua para identificar imágenes creadas con IA de momento no son una solución definitiva.

Actualmente, la Comisión Europea tiene abierta una investigación contra X por incumplir la Ley de Servicios Digitales (DSA) respecto a sus obligaciones sobre contenidos ilegales, transparencia y desinformación. En las primeras conclusiones del informe, la CE informa a X de que, según su análisis preliminar, está infringiendo esta ley.