En las últimas semanas, Grok —el modelo de inteligencia artificial integrado a X— volvió a colocar a la IA generativa en el centro de la conversación pública. Usuarios comenzaron a documentar solicitudes para generar imágenes de mujeres desnudas o en traje de baño, aprovechando la narrativa de que se trata de un sistema “menos censurado” que otros modelos. Las reacciones no tardaron: críticas por la sexualización de mujeres, por la ausencia de consentimiento y por los riesgos que este tipo de usos implica, aun cuando las imágenes sean técnicamente “sintéticas”.
El caso es relevante no porque Grok sea una anomalía, sino porque no lo es. Lo que pone sobre la mesa no es un problema aislado de un modelo específico, sino una tensión estructural que atraviesa a toda la inteligencia artificial generativa. Hoy, texto, imagen, voz y video ya no son categorías separadas. Un mismo sistema puede generar, de manera masiva, verosímil y a una escala que desborda los marcos jurídicos existentes, narrativas falsas, imágenes sexualizadas, voces clonadas y videos creíbles. Regular este fenómeno no sólo es tecnológico, sino conceptual: cómo responder a usos dañinos sin prohibir la tecnología misma.
La IA generativa y el problema real
El caso de Grok no pasó desapercibido fuera de Estados Unidos. En el Reino Unido, por ejemplo, el Comité de Cultura, Medios y Deporte del Parlamento solicitó formalmente a la Office of Communications (órgano regulador en materia de comunicaciones) explicar cómo se está aplicando el Online Safety Act frente a la generación de imágenes sexualizadas mediante sistemas de inteligencia artificial integrados en plataformas como X. La preocupación no se limita a la libertad de expresión, sino al potencial de estos sistemas para producir contenido dañino sin salvaguardas eficaces y a una escala difícil de contener.
Este episodio se suma a otros casos recientes que, aunque distintos entre sí, apuntan en la misma dirección. Desde respuestas extremistas o provocadoras generadas por modelos conversacionales —como el ya documentado caso de “MechaHitler”— hasta la existencia de chatbots con interacciones excesivamente sexualizadas, en algunos casos accesibles para personas menores de edad, el patrón es claro: la IA generativa está siendo desplegada en entornos abiertos sin que los mecanismos de control, moderación y regulación hayan madurado al mismo ritmo.
Durante décadas, la producción de imágenes sexualizadas implicaba barreras claras: una cámara, una persona real, un contexto específico y, en muchos casos, algún tipo de consentimiento —o al menos la posibilidad de identificar con claridad al responsable cuando éste faltaba. Hoy, basta con una línea de texto para producir miles de imágenes en segundos, sin contacto humano directo, sin consentimiento y con un potencial de difusión prácticamente infinito.
La inteligencia artificial generativa convierte lo excepcional en estructural. Lo que antes requería esfuerzo, hoy es inmediato. Lo que antes era costoso, hoy es trivial. Y lo que antes podía rastrearse, hoy se diluye entre prompts anónimos, modelos entrenados con datos masivos y plataformas que intermedian sin contacto directo con el contenido final.
Por eso, insistir en si una imagen es “real” o “falsa” es perder el punto. El daño ya no depende de la materialidad del contenido, sino de su verosimilitud, su circulación y su impacto. Una imagen generada por IA puede no haber existido nunca, pero puede producir efectos muy reales en la reputación, la seguridad y la vida de las personas.
Además, el problema no se limita a las imágenes. Texto, imagen, voz y video ya no son categorías separadas. Un mismo sistema puede generar narrativas falsas, imágenes sexualizadas, voces clonadas y videos creíbles en una sola cadena de producción. Regular por formato deja de tener sentido cuando todo es sintético y combinable.
Violencia sexual, IA generativa y la ausencia de marcos legales adecuados
Uno de los problemas más complejos que plantea la inteligencia artificial generativa es que produce daños reales en ámbitos donde el derecho vigente se construyó sobre supuestos que hoy ya no se cumplen, particularmente en contextos de violencia sexual y sexualización no consentida. A diferencia de otros riesgos tecnológicos, estos casos afectan directamente la dignidad, la seguridad y la vida de las personas, y lo hacen a una velocidad y escala que desbordan los instrumentos jurídicos tradicionales. La generación instantánea de imágenes, voces o videos verosímiles —aunque sintéticos— ha alterado las condiciones básicas bajo las cuales se pensaron las normas vigentes.
En México, el principal referente normativo frente a la difusión de imágenes íntimas sin consentimiento es la Ley Olimpia. Se trata de un conjunto de reformas que reconocieron la gravedad de la violencia digital de carácter sexual y establecieron mecanismos de sanción donde antes no existían. Su importancia es indiscutible. Sin embargo, fue concebida para un entorno distinto al que hoy plantea la IA generativa. Parte de supuestos que ya no siempre se cumplen: la existencia de una imagen real, capturada de una persona real, difundida sin consentimiento, y la posibilidad de identificar con claridad a quien la produjo o compartió. En los sistemas generativos, la imagen puede no haber existido nunca, pero el daño —reputacional, psicológico o incluso físico— es real. El derecho penal, en este punto, sigue anclado en la distinción entre lo verdadero y lo falso, cuando el impacto social depende cada vez más de la credibilidad del contenido.
Además, la lógica de imputación que subyace a estos marcos legales asume un agresor humano identificable y una cadena de responsabilidad relativamente clara. La IA generativa rompe esa linealidad. La producción del daño se fragmenta entre quien escribe el prompt, quien diseña y entrena el modelo, quien lo despliega y quien lo integra en plataformas de alcance masivo. A ello se suma que la respuesta penal es, por definición, ex post: actúa cuando el daño ya ocurrió, cuando el contenido ya se replicó y cuando la reparación resulta, en muchos casos, ilusoria. El problema central deja de ser únicamente la sanción y pasa a ser la prevención desde el diseño, un terreno en el que los marcos legales actuales —incluida la Ley Olimpia— ofrecen herramientas limitadas. Más que un defecto de esas normas, lo que esto evidencia es un vacío regulatorio frente a riesgos que simplemente no existían cuando fueron concebidas.
Regular la IA es inevitable
Frente a casos como el de Grok, la pregunta ya no es si la inteligencia artificial generativa debe regularse, sino cómo y hasta dónde. La regulación dejó de ser una hipótesis para convertirse en una realidad normativa. La ausencia total de reglas no es una opción sostenible, pero regular de forma apresurada o desarticulada puede generar costos igual de altos.
A nivel internacional, la tendencia es clara. La Unión Europea avanzó con el AI Act, el primer marco integral de regulación de la inteligencia artificial, basado en un enfoque de riesgo que distingue entre usos prohibidos, de alto riesgo y de riesgo limitado. Esta tendencia no es exclusiva de la Unión Europea. En Estados Unidos, incluso desde una postura tradicionalmente más reticente a la regulación sustantiva, la administración de Donald Trump ha reconocido que la inteligencia artificial requiere un marco nacional coherente. Más allá del contenido específico de estos marcos normativos, el mensaje es inequívoco: la discusión ya no es si regular la IA, sino cómo coordinar esa regulación para evitar fragmentación y sobrecarga normativa.
México no es ajeno a esta discusión. En el último año, se han presentado múltiples iniciativas en el Congreso de la Unión por todos los grupos parlamentarios. La gran mayoría coinciden en la necesidad de reformar el artículo 73 constitucional, con el objetivo de establecer que sea el Congreso de la Unión —y no las entidades federativas— quien tenga competencia para legislar en materia de inteligencia artificial. A partir de esa definición competencial se propone construir un marco sustantivo específico que regule el desarrollo, uso y despliegue de estos sistemas. La apuesta por la centralización busca evitar un mosaico de regulaciones locales y ofrecer uniformidad y certeza jurídica, pero también plantea preguntas relevantes: ¿qué tan rápido legislar, con qué nivel de detalle y con qué margen de flexibilidad frente a una tecnología que evoluciona más rápido que el derecho?
El desafío, entonces, no es simplemente regular la inteligencia artificial, sino hacerlo bien. Un marco razonable debería partir de principios de proporcionalidad y riesgo, asignar responsabilidades claras a lo largo de la cadena de valor, incentivar la mitigación de daños desde el diseño y ofrecer vías de reparación efectivas que no dependan exclusivamente del derecho penal.
Regular la IA generativa es inevitable. Lo que aún está en disputa es si esa regulación servirá para reducir daños reales o si terminará creando nuevos problemas: innovación desplazada, mercados más concentrados y soluciones tecnológicas empujadas a la informalidad. Casos como el de Grok muestran que el daño ya no depende de que una imagen sea real, sino de que sea creíble. Y que el verdadero reto no es controlar lo que una máquina puede generar, sino cómo respondemos cuando su uso produce efectos reales en la vida de las personas.
Héctor Armando Salinas Olivares
Abogado constitucionalista. Licenciado por el CIDE y maestro por el ITAM. Trabajó en la SCJN con el ministro en retiro Javier Laynez Potisek.