‘Aceptamos ser vigilados a cambio de comodidad’: Jorge Volpi advierte que la IA podría destruir a la democracia

La herramienta ficticia se llama YourAI, su principal atractivo (y problema) se encuentra en la comodidad que ofrece a las personas, sin embargo, también forma parte de una red de vigilancia y en ese intercambio el poder se construye a través de la aceptación cotidiana que parece útil.

“Somos nosotros mismos quienes les hemos concedido ese poder”, dice Volpi sobre la presencia de las empresas tecnológicas en nuestras vidas, una idea que explora en su obra, misma que permite mirar desde otro lugar una herramienta que ayuda a resolver necesidades pero que también puede reunir información sobre sus usuarios.

El personaje es VM Lively, un senador de ultraderecha que llega al poder después de que la democracia tradicional colapsa y Donald Trump es encarcelado.. Aunque este personaje es quien tiene el mando decide que, para acabar con el caos será mejor delegar el poder a una inteligencia artificial (IA) llamada Nick, quien calcula escenarios, anticipa conductas de los electores y le dice qué estrategias seguir para gobernar.

En la actualidad, esta idea de Volpi conecta nuestra relación cotidiana con aplicaciones con las que compartimos ubicación, datos y hábitos para recibir servicios más personalizados . En la novela, este planteamiento también llega al gobierno y se pregunta qué sucede cuando la comodidad se convierte en una herramienta para la vigilancia de los ciudadanos.

“YourAI, la herramienta de IA que lanzan el senador VM Lively y su pareja Igne Kayris al llegar al poder, como instrumento para hacer más eficiente la vida de los ciudadanos, es asimismo solo algo que apenas va más allá de lo que ya vemos con nuestras apps”, dice Volpi.

El autor agrega que no solo es una herramienta que produce una dependencia cada vez más extrema de los ciudadanos, “sino la red de un nuevo panóptico en el que cada uno acepta ser vigilado en aras de tener una vida más eficiente y cómoda”. Por ello se cuestiona hasta dónde puede llegar la tecnología para intervenir en decisiones públicas, los criterios para gobernar, los límites de la vigilancia y las posibilidades de cuestionar a quien utiliza la información.

Los empresarios tecnológicos en la mesa del poder

En La República, el lector es testigo del poder tecnológico. En una de las escenas iniciales los líderes de las empresas tecnológicas más grandes se juntan para discutir el proyecto político del mundo. Así aparecen Peter Thiel (PayPal), Elon Musk (SpaceX), Sam Altman (OpenAI) y Jensen Huang (Nvidia).

Aquí, Volpi deja clara su preocupación por las relaciones entre poder y saber. En este caso, coloca a estas figuras como representantes de esa relación y plantea qué ocurre cuando el Estado adopta el modelo de una corporación y concentra las decisiones en un liderazgo sin oposición.

“Los hombres sentados a esa mesa imaginaria son ya mucho más poderosos que muchos estadistas: controlan nuestras vidas de maneras que jamás habríamos imaginado, envolviéndonos por completo”, menciona el escritor.

En La República, el político no puede llegar al poder sin el tecnólogo, y el tecnólogo no puede imponer su visión del mundo sin el político. Por eso Peter Thiel aparece como el puente entre VM Lively y el poder real al ser el encargado de conectar a los empresarios tecnológicos con el futuro mandatario quien busca quedar electo como presidente después de que Trump fuera encarcelado.

Figuras como Thiel, Musk o Altman ya no son empresarios, comenta Volpi, sino que son señores feudales porque controlan el territorio donde hoy vivimos todos: los datos, los algoritmos, la infraestructura de la verdad, no necesitan poseer tierra, pues si poseen la nube, la red satelital y la IA que decide lo que es real.

"Casi todo lo que he escrito orbita en torno a las relaciones entre poder y saber y, en este caso, estas figuras lo encarnan como nadie. De ahí que cualquier político, de Trump a mi VM Lively, necesite contar con ellos y, a la vez, cooptarlos."

En ese escenario, la eficiencia puede resultar atractiva para los ciudadanos pero advierte: resolver una necesidad con rapidez no explica por sí mismo quién estableció las reglas ni cómo se puede cuestionar una decisión, por lo que facilitarle la vida al ciudadano también aumenta la capacidad de observarlo y orientar su comportamiento .

“YourAI, la herramienta de IA que lanzan VM Lively e Igne Kayris al llegar al poder no solo se convierte en dependencia, sino que cada uno acepta ser vigilado en aras de tener una vida más eficiente y cómoda”, agregó el autor.

Volpi menciona que es la primera vez que escribe sobre el futuro, ya que sus novelas suelen construirse del pasado hacia el presente. Por ello, esta distopía puede terminar pareciéndose al mundo que vivimos hoy.

Acerca de las preocupaciones de que la IA sea la responsable de la extinción humana, el autor es contundente al mencionar que “lo que está a punto de aniquilarse es la democracia, más que la especie humana”.

Una predicción no elimina la responsabilidad humana

Cuando hablamos de decisiones públicas que se apoyan en predicciones tecnológicas, Volpi dice que los representantes populares deben explicarlas con transparencia y responder por ellas, por lo que el argumento coloca la lupa y por ende la responsabilidad en quienes gobiernan .

“En las democracias, que son cada vez menos capaces de enfrentarse a las tecnológicas, tendrían que ser los representantes populares quienes lo explicaran con transparencia”, dijo. "Una predicción no elimina la responsabilidad humana, quien gobierna debe explicar por qué siguió lo que dijo la máquina", mencionó.

Si volvemos la mirada a México, el autor cuestiona que la seguridad y el combate a la violencia sirvan para justificar una mayor vigilancia. "Los gobiernos siempre han reunido información sobre la población, pero la IA amplía exponencialmente su capacidad para analizarla", advierte.

Por eso, señala, recurrir al argumento de la seguridad en México no es excepcional. "En México podrán argumentarse razones de seguridad o combate a la violencia, pero la implantación de este Estado securitario sigue los mismos parámetros que en otras partes".

Volpi lleva estos parámetros a distintos ejemplos. Como en los modelos que ya operan en Estados Unidos con el reconocimiento facial y la predicción policial; en China, con el sistema de crédito social y vigilancia biométrica masiva; en Israel, con el control por drones y datos; en Palestina y en Reino Unido, con el uso de IA para perfilar migrantes.

Los parámetros son siempre los mismos: recolección masiva de datos sin consentimiento claro, identificación biométrica en espacio público, perfilamiento predictivo para anticipar delitos o protestas y la opacidad donde nadie sabe cómo decide el algoritmo y México, agrega Volpi, está importando ese mismo kit con otro nombre: la seguridad.

Por otra parte, el autor refiere que la comodidad que ofrece YourAI en la novela permite abrir la discusión sobre los servicios públicos en México. ¿Qué necesita cambiar para que una herramienta digital realmente facilite la vida de las personas?

Para Alberto Farca, chief officer de Centro México Digital una persona debe saber cuándo interviene una IA para saber en qué información la utiliza y cuáles fueron los criterios de su respuesta.

“Una persona responsable con nombre y cargo revisa el caso y responde por el trámite o servicio", dice en entrevista con Expansión, y menciona que la IA puede apoyar el trabajo pero las decisiones de mayor impacto deben quedar en manos de las autoridades correspondientes.

También considera necesaria una vía de impugnación gratuita, con plazos claros y atención presencial y digital. “Una impugnación que termina en otro sistema automatizado no ofrece una segunda revisión", agregó.

Es aquí donde la confianza toma un papel relevante ya que para Farca, el hecho de que las personas conozcan cómo se utilizan sus datos, y tengan a quien acudir si están en desacuerdo, es fundamental, esa posibilidad de pedir explicaciones marca un límite al poder de la herramienta.

En la novela, Nick puede observar a los demás pero no comprende por completo sus propios procesos. Volpi aclara que sus predicciones pertenecen al personaje y que el libro no debe leerse como un pronóstico, pues fuera de sus páginas, la herramienta da una clara advertencia: “Nick es una IA y comete errores. Verifica mi información”.