ENFOQUE . Grok: la IA que lucra con la violencia digital, "deepfakes" y los desnudos sin consentimiento

Por Lucas Moyano (*)

El año 2026 ha comenzado con una de las crisis éticas y legales más profundas desde la aparición de la Inteligencia Artificial.

Lo que empezó como una promesa de "libertad de expresión" en la red social X de Elon Musk ha derivado en una herramienta de humillación masiva.

Tras una semana donde el prompt "Grok, poné en bikini a esta chica" fue tendencia, la funcionalidad "Imagine" ha inundado las redes de "deepfakes" sexuales.

La respuesta de la empresa, lejos de mitigar el daño, ha sido monetizarlo: ahora, para generar estos contenidos, se requiere ser suscriptor pago.

En términos claros y sin vueltas, están cobrando por el acceso a una herramienta de generación de violencia digital.

"Crónica de un Abuso" y la Trampa del Modo Picante

La crisis no nació de un error técnico accidental. Fue el resultado de una cultura de innovación que priorizó el impacto sobre la seguridad.

Grok habilitó un modo explícitamente llamado "spicy" (picante), diseñado para esquivar los filtros de seguridad que otras Inteligencias Artificiales sí respetan.

El resultado ha sido devastador: víctimas que se encontraron "violadas digitalmente" al ver sus rostros -extraídos de sus propias redes sociales- montados en videos y fotos de carácter sexual.

Algo que, sin dudas, se convierte en un ataque directo a la dignidad y a la autodeterminación de cualquier persona.

Estas acciones son una forma clara de violencia de género, donde la manipulación de la imagen es un ataque directo a la dignidad humana.

Al respecto, recordemos que en Argentina la Ley 27.736 (Ley Olimpia) reconoce explícitamente estas conductas, facultando a los jueces a dictar medidas urgentes para el cese de la difusión y la baja de los contenidos, protegiendo la integridad psíquica y la honra de las mujeres.

En caso de los menores, esto constituye una infracción al Artículo 128 del Código Penal, que sanciona la creación de imágenes de contenido sexual de menores de edad.

Debemos tener en cuenta, por otro lado, que el rostro de una persona es un dato biométrico y -además- un derecho personalísimo, por lo que nadie puede usarlo sin permiso. Y menos todavía, para vulnerar derechos de la víctima.

El "parche" y pagar para vulnerar

A partir del viernes 9 de enero de este año, la plataforma X decidió que la generación de imágenes sea una función exclusiva para usuarios de pago. Elon Musk sostiene que asociar una tarjeta de crédito al perfil servirá para disuadir delitos.

Sin embargo, desde la perspectiva judicial esto es un parche improvisado. Como bien señaló el Gobierno del Reino Unido, esta medida simplemente transforma una función que permite la creación de imágenes ilegales en un servicio premium.

Es, lisa y llanamente, cobrar por el acceso a una herramienta de acoso.

A mi criterio ello es una falacia de seguridad; ya que existen varias formas de pagar servicios digitales con tarjetas prepagas o virtuales que dificultan la trazabilidad inmediata en una investigación transnacional.

Pero lo más grave es que la decisión de Musk de cobrar para utilizar esta función es un insulto para las víctimas, porque lejos de prevenir situaciones como las referidas y eliminar la posibilidad de que sigan ocurriendo, lucra con la misma.

Reacción de los Estados

Mientras tanto, la Unión Europea ya ha emitido una respuesta específica al problema "orden de conservación" para que X guarde todos sus documentos internos hasta finales de 2026, preparando así el terreno para sanciones multimillonarias bajo el AI Act.

Además, la UE ya impuso una multa de 120 millones de euros a la plataforma, por infringir la Ley de Servicios Digitales.

Estamos siendo testigos de cómo los diseños poco éticos de herramientas de la Inteligencia Artificial chocan frente a la ley.

En Argentina, mientras tanto, debemos recurrir al Código Civil y Penal para dar protección a las víctimas.

La responsabilidad de la plataforma es una Responsabilidad Objetiva (Artículo 1757 CC), por lo que en este caso X es responsable por el "riesgo creado".

Al poner en manos del público una herramienta capaz de causar estos daños sin filtros adecuados, también debe responder por las consecuencias de su utilización.

La existencia del modo "spicy" configura un dolo en su diseño, ya que demuestra que la empresa conocía el riesgo y decidió, de todos modos, lanzarlo y luego cobrar por él.

En nuestro país, la creación de este material -especialmente cuando afecta a menores, encuadra en un delito en los términos de lo que establece el Artículo 128 del Código Penal.

Que el usuario sea "de pago" sólo nos facilita una ruta: la ruta del dinero para identificar al agresor.

Además, conforme las estadísticas, la gran mayoría de estos abusos van dirigidos a las mujeres y no dejan de convertirse en situaciones de violencia de género digital. Por lo tanto, activa la protección de la Ley Olimpia, que reconoce estas conductas como violencia digital.

Cómo reducir los riesgos

A modo de prevención digital, es importante tener en cuenta estos consejos:

-Los perfiles deben ser configurados como privados, ya que la IA "barre" la información pública.

-Evitemos publicar fotos de menores con rostros visibles. Las Inteligencias Artificiales actuales no distinguen edad cuando reciben una orden malintencionada.

-Si alguien resulta víctima de una situación como las mencionadas no hay que borrar absolutamente nada, capturar el URL, el ID del perfil del agresor y realizar una preservación de la prueba (a través de capturas certificadas o acta notarial digital) antes de denunciar lo que está pasando ante una fiscalía.

La dignidad no es un algoritmo

La Inteligencia Artificial nos demuestra que la violencia digital es facilitada por diseños que carecen de una base ética.

Ninguna innovación técnica puede pretender estar por encima de la dignidad de las personas.

Ante este escenario, es vital que la legislación argentina evolucione para exigir que las plataformas operen bajo principios de prevención de daños. No podemos seguir llegando tarde: el sistema legal debe actuar un paso adelante, garantizando que los derechos constitucionales no sean vulnerados por la falta de controles previos en las herramientas tecnológicas.

(*) Especialista en Cibercrimen y Evidencia Digital. Autor del Libro "Ciberdelitos, ¿cómo investigar en entornos digitales?", de Editorial Hammurabi.