El reconocimiento facial Rekognition de Amazon, bajo la lupa

SARA ASHLEY O'BRIEN

NUEVA YORK - El congresista demócrata Jimmy Gómez no se sorprendió demasiado al enterarse de que se encontraba entre los 28 miembros del Congreso cuyo rostro coincidió con fotografías policiales en un experimento realizado por la Unión Estadounidense por las Libertades Civiles (ACLU, por sus siglas en inglés) del norte de California. De hecho, el demócrata de California tenía una idea bastante clara de lo que muchas de las personas en esa lista tenían en común.

“Le dije a mi personal que no me sorprendería que fuera principalmente gente de color o minorías”, dijo a CNNMoney.

Estaba en lo correcto.

El jueves, la ACLU publicó los resultados de su prueba del controvertido software Rekognition de Amazon, que utiliza inteligencia artificial para, entre otras cosas, reconocer a las personas.

Lee: Rekognition, de Amazon, un dilema entre seguridad e invasión a la privacidad

Después de construir una base de datos de 25,000 fotos de arrestos disponibles públicamente y compararla con los 535 miembros del Congreso, la ACLU encontró que Rekognition —cuando se dejaba con sus configuraciones predeterminadas— identificaba a legisladores como Luis Guitiérrez de Illinois, John Lewis de Georgia y Norma Torres de California, como criminales.

De los 28 legisladores que Rekognition identificó erróneamente, alrededor del 40% eran personas de color, un resultado que llevó a la ACLU a pedir una moratoria del gobierno sobre el uso de software de reconocimiento facial, un llamado que ganó fuerza entre los legisladores el jueves.

“Esto es un gran problema”, dijo Gómez. “El sesgo que existe se digitalizará y será usado contra personas que ya tienen muchos obstáculos y dificultades”.

Aunque la inexactitud del reconocimiento facial entre mujeres y personas de color es un problema conocido, los expertos dicen que subraya la necesidad de conversaciones más amplias sobre la ética de dicha tecnología y la responsabilidad de las empresas que la crean para garantizar que sea usada de manera justa.

Con ese fin, Gomez y Lewis enviaron una carta al presidente ejecutivo de Amazon, Jeff Bezos, solicitando “una reunión inmediata para analizar cómo abordar los defectos de esta tecnología con el objeto de evitar resultados imprecisos”.

En una carta por separado, los senadores Edward Markey, Mark DeSaulnier y Luis Gutiérrez pidieron a Bezos que proporcionara detalles sobre cualquier evaluación interna de precisión o sesgos que Amazon haya realizado en Rekognition. También quieren saber qué agencias policiales o de inteligencia usan Rekognition, y si Amazon audita su uso del programa.

Amazon criticó los resultados de la ACLU argumentando, en efecto, que no se utilizó la herramienta correctamente.

“Creemos que los resultados probablemente podrían mejorarse siguiendo las mejores prácticas para establecer los umbrales de confianza (esta es la probabilidad porcentual de que Rekognition encuentre una coincidencia) utilizados en la prueba”, dijo un vocero de Amazon en un comunicado.

“Si bien el 80% de confianza es un umbral aceptable para las fotos de hot-dogs, sillas, animales u otros casos de uso de las redes sociales, no sería apropiado para identificar a las personas con un nivel razonable de certeza. Cuando usamos reconocimiento facial para actividades policiales y de justicia, guiamos a los clientes para establecer un umbral de por lo menos 95% o superior”.

Lee: Amazon se mete hasta el plato... de tu perro

Las compañías tecnológicas están aceptando esta visión. En una publicación de blog de principios de este mes, el presidente de Microsoft, Brad Smith, sugirió que se reglamente la tecnología de reconocimiento facial debido a sus “amplias ramificaciones sociales y al potencial de abuso”.

Bezos no ha abordado el tema públicamente a pesar de los recientes llamados de accionistas y grupos de derechos civiles para que deje de vender la tecnología al gobierno. En su declaración a CNNMoney, Amazon llamó a Rekognition “un impulsor del bien en el mundo”.

Tal vez lo sea, o tal vez no, dijo Woodrow Hartzog, quien enseña Derecho y Ciencias de la Computación en la Northeastern University.

“La idea de que esto es simplemente una tecnología neutral que puede usarse para bien o para mal y que Amazon no debería ser responsable, creo que es puramente incorrecta”, dijo.

“No es irracional decir que si construyes un producto que es capaz de dañar, entonces deberías ser responsable de las opciones de diseño que haces para permitir el daño”, dijo, “y cuando lo lanzas al mundo, estás haciéndolo de una manera segura y sostenible”.

Recomendamos: El reloj de Jeff Bezos te dará la hora por 10,000 años