Las plataformas digitales tendrán que reforzar sus mecanismos para evitar que niñas, niños y adolescentes accedan a contenidos violentos en México. Sin embargo, la detección automática de contenidos violentos en redes sociales puede terminar censurando denuncias, investigaciones periodísticas o expresiones legítimas si no existen mecanismos de supervisión humana, advierte Fernando Gutiérrez Cortés, director de la división de Humanidades y Educación del Tecnológico de Monterrey.
Criterios precisos, revisión humana y formas de apelar: los pendientes del decreto contra contenido violento
Aunque el decreto en torno a la eliminación de contenidos violentos es un paso adelante, la labor de monitoreo no debe quedar solo al resguardo de sistemas automatizados.
Publicidad
Esta discusión sobre la seguridad de los menores de 18 años en redes sociales llegó a Palacio Nacional este miércoles 14 de octubre en la cual la presidenta Claudia Sheinbaum firmó un decreto que obliga a las plataformas como TikTok, Meta, Google y X a reforzar sus mecanismos de protección frente a contenidos relacionados con violencia, abuso sexual, autolesiones y ciberacoso.
Entre las nuevas obligaciones están verificar la edad, clasificar los contenidos según el grupo, activar configuraciones de privacidad reforzada para menores y establecer mecanismos para identificar y retirar publicaciones que representen riesgos.
La presidenta Claudia Sheinbaum también aseguró que las empresas estuvieron de acuerdo con el decreto impulsado por su gobierno , que contempla las nuevas obligaciones para detectar y retirar publicaciones que promuevan la violencia.
“Increíblemente, estuvieron totalmente de acuerdo, agregaron algunos temas, pero las plataformas están de acuerdo en lo que les estamos pidiendo, de tal manera que el decreto sale con un acuerdo con las plataformas”, dijo la presidenta durante su conferencia matutina del 9 de octubre.
El reto no es solo eliminar contenido, también controlar los algoritmos
Para Gutiérrez Cortés, la detección automatizada de publicaciones violentas es técnicamente viable, pero no está exenta de errores, especialmente cuando los sistemas no pueden distinguir entre una amenaza y una denuncia.
“Un sistema automatizado podría confundir una amenaza real con una denuncia o con una investigación periodística o incluso con una obra artística o una conversación académica”, explica el especialista a Expansión.
Por ello, considera necesario establecer criterios precisos, revisión humana y mecanismos de apelación para evitar que las medidas de protección se conviertan en herramientas de censura.
El problema tampoco se limita al contenido que publican los usuarios. Los algoritmos de recomendación influyen en la cantidad de veces que una persona se encuentra con determinadas publicaciones, así como en la frecuencia con la que estas aparecen en su pantalla.
Publicidad
“Los algoritmos juegan un papel importante, no determinante”, aclara Gutiérrez, quien dice que el comportamiento de los adolescentes también está relacionado con factores familiares, educativos y sociales.
El especialista explica que los sistemas de recomendación pueden transformar una publicación aislada en una exposición constante a mensajes violentos y, por ello, advierte que las plataformas necesitan revisar no solo lo que eliminan, sino también qué contenidos amplifican y a quiénes los recomiendan.
Entre las medidas que considera necesarias están limitar las recomendaciones automáticas de contenido extremo, reforzar los controles para menores, mejorar la atención a denuncias, permitir auditorías externas y ofrecer mayor transparencia sobre el funcionamiento de los algoritmos.
“La prevención no debe limitarse a solamente eliminar publicaciones una vez que ya circularon”, advierte.
TikTok, por su parte, dijo a Expansión que comparte el objetivo del gobierno de promover entornos digitales seguros para adolescentes y que continuará colaborando con las autoridades.
De esta forma, la compañía agregó que mantendrá una colaboración estrecha con las autoridades y otros actores de la industria tecnológica para impulsar iniciativas de protección a su comunidad.
Además, fueron consultadas las empresas Meta y Google pero hasta el momento en que está redactada la presente nota dijeron no tener comentarios al respecto.
“La seguridad forma parte del diseño de TikTok desde su origen, y compartimos el objetivo del Gobierno de México de promover entornos digitales más seguros para las y los jóvenes”, señaló la plataforma en su postura oficial enviada a Expansión.
¿Qué pasará si las plataformas no cumplen?
Las empresas tendrán 30 días naturales a partir de la entrada en vigor del decreto para documentar las medidas implementadas y reportar sus avances a las autoridades. El instrumento no contempla sanciones específicas por incumplimiento, Sheibaum advirtió que de no observar resultados, el gobierno podría impulsar una legislación que establezca consecuencias para las plataformas.
Publicidad
Sin embargo, para Gutiérrez Cortés, cualquier estrategia de monitoreo deberá contar con límites legales claros para evitar afectaciones a la privacidad de los usuarios.
“El monitoreo no debería convertirse en un tema de vigilancia sin restricciones”, señala el especialista, quien considera necesaria la supervisión sobre el uso de los datos y la protección de las comunicaciones privadas.
El académico advierte que ningún algoritmo puede determinar con certeza cuándo una conversación se convertirá en una amenaza real. Por ello, sostiene que una regulación centrada únicamente en retirar publicaciones podría dejar intactas las dinámicas de recomendación y las comunidades digitales que favorecen la circulación de mensajes extremistas.
El desafío para las plataformas será demostrar que pueden reducir la exposición de menores a contenidos violentos sin limitar indebidamente otras formas de expresión.
Más acerca del autor:
Newsletter
Publicidad