Publicidad
Publicidad

Así detecta Facebook el lenguaje de odio en su red

El uso de inteligencia artificial en la moderación de contenido es algo que hacen muchas empresas de tecnología y en el caso de Facebook, su uso apoya directamente en la proactividad.
jue 19 noviembre 2020 12:02 PM
facebook
La empresa usa IA y otras herramientas para eliminar más del 90% de publicaciones que incitan al odio.

Facebook, por primera vez, incluyó qué tanto prevalecen los discursos de odio en su plataforma como parte del Informe trimestral de cumplimiento de normas comunitarias, y en él señaló que gracias a la inteligencia artificial se detecta de forma proactiva 94.7% de este lenguaje y que posteriormente es eliminado. Esto significa una mejora del 14.2% en comparación del 2019, donde la plataforma detectaba con IA el 80.5% de publicaciones.

“La prevalencia estima el porcentaje de veces que las personas ven contenido infractor en nuestra plataforma. Calculamos la prevalencia del discurso de odio seleccionando una muestra de contenido visto en Facebook y marcando la cantidad que viola nuestras políticas de discurso de odio”, precisó en un comunicado Arcadiy Kantor, gerente de producto de Integridad en Facebook.

Publicidad

De acuerdo con la plataforma, este número ha sido posible gracias a los avances que la empresa ha tenido en la detección automatizada y la implementación del Lenguaje de Marcado Extensible (XLM), un metalenguaje que ayuda a identificar el lenguaje ofensivo, en distintos idiomas, además de herramientas que ayudan a descifrar grandes cantidades de publicaciones.

“Considerando que la incitación al odio depende del idioma y el contexto cultural, enviamos estas muestras representativas a revisores de contenido de diferentes regiones. Con base en esta metodología, estimamos que la prevalencia del discurso de odio desde julio de 2020 hasta septiembre de 2020 fue de 0,10% a 0,11%. En otras palabras, de cada 10,000 visualizaciones de contenido en Facebook, de 10 a 11 incluían discurso de odio”, precisó Kantor.

De acuerdo con la empresa, la definición de discurso de odio no es una labor simple, pues las opiniones tienen matices que dificultan la clasificación de la publicación, además de que se depende del contexto, el idioma, la religión y cambios culturales donde Facebook tiene presencia.

“Basándonos en las aportaciones de diversos expertos y líderes a nivel mundial, definimos el discurso de odio como todo lo que ataca directamente a las personas en función de características protegidas, como raza, etnia, nacionalidad de origen, afiliación religiosa, orientación sexual, sexo, género, identidad de género o discapacidad o enfermedad grave”, dijo Kantor.

Por ello, Facebook ha implementado un Optimizador de Integridad Reforzada (RIO) un marco de aprendizaje para que los involucrados en la moderación de contenido puedan optimizar su labor.

Si bien Facebook ha prohibido durante mucho tiempo el discurso de odio, las reglas de moderación de la compañía en ocasiones han dado lugar a algunos resultados no tan buenos. En 2017, ProPublica informó sobre cómo las reglas de Facebook ofrecían protección a los "hombres blancos" pero no a los "niños negros" debido a cómo la empresa interpretaba los subconjuntos de clases protegidas. Por ello la empresa ha buscado mejorar sus herramientas de moderación y detección.

Publicidad

Newsletter

Únete a nuestra comunidad. Te mandaremos una selección de nuestras historias.

Publicidad

Publicidad