Y aunque todos ellos pueden estar conscientes de los beneficios cuando se implementan estos procesos automatizados en la labor cotidiana y en la formulación de estrategias, no siempre se está consciente también de los graves riesgos y desafíos que ello conlleva.
Planear y trabajar con base en lo que los llamados Sistemas de Decisión Algorítmica (SDA) nos aportan no puede ser labor tomada a la ligera, ante la falta de rigor científico, profesional, legal o ético en la que se puede incurrir, como la experiencia ha demostrado ya varias veces.
El Instituto Nacional de Investigación en Informática y Automatización (Inria, por sus siglas en francés) presentó en 2019 un estudio sobre las oportunidades y riesgos relacionados con el uso de los SDA. Dado lo completo y enriquecedor de lo ahí presentado, me permito compartirle y comentar algunas de las ideas ahí expuestas.
Dicho trabajo, encargado por el Panel para el Futuro de la Ciencia y la Tecnología, del Parlamento Europeo, justamente profundiza sobre las cuestiones éticas, políticas, legales y técnicas en las que se debe tener atención, en el manejo de algoritmos en los que se basarán muchas decisiones personales, empresariales o de políticas públicas.
Con los argumentos que ahí se presentan, podemos inferir que, si se descuida la atención sobre varios de esos aspectos, los resultados y beneficios esperados pueden quedar anulados para quien seguramente invirtió fuertes cantidades con la idea de obtener el provecho que no llegará.
Y no sólo ello. Algoritmos incorrectamente edificados pueden significar actos de injusticia para las personas involucradas. Desafortunadamente no son pocos los casos documentados de prácticas discriminatorias, competencia desleal, pérdida de autonomía, acceso erróneo a mercados e, incluso, amenazas a la democracia, por programas automatizados dañinos, diseñados así accidental o intencionalmente.
Si bien áreas como la educación, programas sociales y salud se benefician indudablemente con los SDA, también hay experiencias lamentables que no podemos dejar pasar para corroborar lo perjudicial que la automatización mal hecha puede significar.
Está el caso documentado en 2019, por un estudio que reveló un acto de racismo descarado en el software de toma de decisiones de hospitales de Estados Unidos, por el cual pudo comprobarse que millones de personas negras eran afectadas por prejuicios raciales en los algoritmos de atención.
Entonces, pudo verificarse fehacientemente que dicho sector, con necesidades médicas complejas, tenía drásticamente menos probabilidades que las personas blancas, igualmente enfermas, de admisión a programas para una atención más personalizada. El fruto del estudio fue que se iniciaron acciones para implementar correcciones pertinentes.
