Iniciativa del Senado en IA quiere frenar los deepfakes, pero roza la censura

El estudio de Eon Institute y la Fundación Friedrich Naumann documenta que más de 10.6 millones de mujeres en México han sufrido ciberacoso entre 2020 y 2025, y que más de 84% de los casos de abuso de imágenes íntimas generadas con IA en el país afectan a mujeres y niñas.

Claudia del Pozo, fundadora de Eon Institute, señala que el reporte explica que la desinformación por razón de género no sólo consiste en contenido falso o manipulado, sino en el uso de estereotipos y herramientas digitales para dañar reputaciones, desacreditar voces y expulsar a mujeres de la esfera pública.

“Los deepnudes y otros contenidos sintéticos son una forma de violencia que altera la participación pública y multiplica el costo de hablar, denunciar o competir políticamente”, precisó del Pozo, durante la presentación de este informe.

La iniciativa del Senado define al deepfake como contenido sintético o manipulado que reproduce o altera la imagen, la voz o el comportamiento de una persona con apariencia de veracidad y con potencial para afectar su identidad, reputación, derechos o incluso procesos democráticos.

También ordena que quienes desarrollen u operen sistemas de IA implementen mecanismos razonables para que las personas puedan identificar cuándo un contenido, interacción o decisión fue generado o asistido por inteligencia artificial.

En términos simples, el proyecto intenta poner una regla básica de transparencia en un ecosistema donde hoy muchas personas no saben si están hablando con un contenido manipulado con IA.

“Las preocupaciones no son menores si se considera que la iniciativa incluye conceptos ambiguos como ‘manipulación de la narrativa’ o ‘riesgos informativos’, términos que, sin definiciones precisas, pueden prestarse a interpretaciones amplias por parte de la autoridad”, señaló Víctor Ruiz, CEO de la firma de ciberseguridad Silkiin.

El artículo 164 obliga a proveedores de IA generativa y modelos fundacionales a prevenir, detectar y mitigar manipulación informativa, desinformación automatizada, generación de contenidos ilícitos y suplantación de identidad o fraude digital.

Ruiz advierte que la supervisión de algoritmos, las auditorías y la respuesta a incidentes digitales exigen capacidades que hoy son limitadas. También alerta sobre el riesgo de que, ante definiciones ambiguas y personal insuficiente, la aplicación de la norma dependa de interpretaciones amplias o discrecionales.

“La posibilidad de sancionar contenidos bajo criterios amplios o poco definidos podría generar un efecto inhibidor en medios, creadores y usuarios, especialmente en contextos políticamente sensibles”, indicó Ruíz. 

El punto es especialmente delicado porque el propio reporte de Eon muestra que el sistema actual ya llega tarde frente al daño digital. De las 3,205 investigaciones iniciadas por violencia digital entre 2020 y 2025, 95% no llegó a juicio, sólo 3.6% de los presuntos responsables fue juzgado y apenas 0.5% terminó en condena.

A eso se suma un problema que cualquier usuaria entiende mejor que cualquier técnico. La viralización ocurre en horas, pero la respuesta institucional avanza a ritmo burocrático.

El estudio señala que las víctimas suelen cargar con capturas de pantalla, metadatos, URLs y procesos de plataforma sin apoyo suficiente, mientras fiscales, jueces y personal investigador siguen operando con formación insuficiente y sin protocolos claros.

Del Pozo recomienda armonizar definiciones y crear un estándar nacional para la violencia digital y el abuso mediante imágenes íntimas generadas con IA, así como imponer obligaciones de etiquetado para contenidos sintéticos, pero sobre todo establecer protocolos unificados para preservar evidencia y acelerar la atención, y capacitar de forma obligatoria a fiscales.

Para la industria tecnológica, por un lado, esta iniciativa significa que México empieza a exigir trazabilidad, medidas de mitigación, transparencia y cooperación con autoridades, algo que puede elevar costos de cumplimiento, sobre todo para actores pequeños, pero también ofrece un terreno más claro para competir.

Por otro lado, la falta de definiciones más cerradas y de capacidades estatales suficientes mantiene viva la incertidumbre sobre cómo se interpretarán esas obligaciones en la práctica.

“El riesgo no necesariamente radica en la censura directa, sino en el uso del aparato regulatorio como mecanismo de presión, desgaste o intimidación”, indicó Ruíz.