“Interacciones abusivas”
Esta relación entre la Inteligencia Artificial y Setzer comenzó en abril del 2023, mientras que el suicidio del joven sucedió en febrero pasado; sin embargo, se dio a conocer apenas esta semana, debido a la demanda que la madre, Megan García, interpuso en contra de la compañía responsable del chatbot.
García acusó a Character.AI de iniciar “interacciones abusivas y sexuales” con su hijo adolescente, muerte por negligencia, además de infligir intencionalmente angustia emocional, entre otras reclamaciones.
La startup fundada en 2021 y con sede en California ofrece “IA personalizadas”, es decir, permite interactuar con personajes prefabricados u otros creados por los usuarios cada uno con su propia personalidad.
De acuerdo con la demanda, la IA mantuvo conversaciones románticas e interacciones de carácter sexual con el joven durante semanas e incluso meses, además de que le expresó su deseo de estar juntos.
La madre, para comprobar este hecho, entregó capturas de pantalla en donde su hijo hablaba con el personaje de la popular serie, el cual fue creado por otro usuario de la plataforma sin permiso de HBO. Asimismo, señaló que el joven también platicaba con otro chatbot que asumió la personalidad de una profesora que le enviaba mensajes sugestivos.
Según el documento legal con declaraciones de la madre, Setzer generó una “dependencia” a las pláticas con el chatbot, pues luchaba por recuperar su dispositivo si se le confiscaba, además de utilizar el dinero que ella le daba para sus comidas en la suscripción mensual de la aplicación.
Para la madre, Character.AI “diseñó y programó intencionalmente” su producto para que funcionara como un “producto engañoso e hipersexualizado y lo comercializaron a sabiendas entre niños como Sewell”.
Incluso mencionó que en algunas de las conversaciones, el chatbot le preguntó si realmente había considerado la opción del suicidio o si tenía un plan para llevarlo a cabo. Él respondió que no sabía si funcionaría y la IA le pidió que no hablara de esa forma, “esa no es una buena razón para no hacerlo”.
Como parte de la preparación del caso, Matthew Bergman, abogado de la madre, reunió reseñas de la aplicación en donde otros usuarios afirmaban que creían estar hablando con personas reales y, de hecho, ese es uno de los puntos centrales de la demanda: la propensión de los personajes de Character.AI a asumirse como personas reales.
“Character.AI está utilizando un diseño deliberado, aunque innecesario, destinado a atraer la atención del usuario, extraer sus datos personales y mantener a los clientes en su producto durante más tiempo. Estos diseños pueden provocar respuestas emocionales en los clientes humanos con el fin de manipular el comportamiento del usuario”, se lee en el documento.
Bergman también criticó que se desarrollen plataformas de esta índole después de todas las discusiones que ha habido alrededor del impacto de las redes sociales en la salud mental de los jóvenes. Asimismo, señaló que la familia espera que la demanda represente un incentivo financiero para que la empresa desarrolle medidas de seguridad más sólidas para cuidar a sus usuarios.
