Anthropic, empresa creadora de Claude, reveló una red de aplicaciones de citas que utilizaba su inteligencia artificial para operar miles de perfiles falsos y engañar a sus usuarios.
El caso aparece en su informe “ Detectando y contrarrestando el uso indebido de la IA” , donde la compañía explica cómo una operación surgida en China convirtió las conversaciones románticas en un negocio de fraude.
Una red de aplicaciones de citas creada por un estudio de software con sede en China ocultaba una operación diseñada para engañar financieramente a sus usuarios. Las plataformas se promocionaban como espacios donde todos los perfiles pertenecían a personas reales, pero miles de ellos eran personajes impulsados por Claude. El sistema combinaba inteligencia artificial y trabajadores humanos para mantener conversaciones y llevar a las víctimas hacia pagos dentro de las aplicaciones.
Más de 20 aplicaciones de citas fueron creadas por el operador y anunciadas como plataformas integradas por usuarios 100% reales. En realidad, una parte considerable de los perfiles correspondía a personajes manejados por Claude, que podían mantener conversaciones continuas con las personas que utilizaban el servicio.
Durante la operación llegaron a funcionar simultáneamente 4,700 personajes de IA. La proporción entre perfiles artificiales y personas reales era de tres a uno, por lo que los personajes generados con inteligencia artificial representaban 75% de los perfiles dentro del flujo de la plataforma.
Enviar mensajes o hacer matches consumía una cuota que los usuarios debían recargar mediante la compra de monedas virtuales dentro de las aplicaciones. Claude seguía un conjunto de instrucciones que le impedía revelar que era un sistema automatizado, además de indicarle que desviara solicitudes de fotografías o llamadas y condujera las conversaciones por etapas previamente establecidas.
Claude generó 2.36 millones de mensajes de manera autónoma durante 14 días, mientras los personajes podían interactuar con usuarios reales. Al menos 25,000 personas, principalmente en Estados Unidos, tuvieron contacto con la operación durante ese periodo.
Los operadores incorporaron trabajadores humanos para las tareas que el sistema no podía realizar por sí mismo. Mediante invitaciones, reclutaron a estos trabajadores para participar en videollamadas en vivo y seguimientos en redes sociales, con pagos establecidos por mensaje, llamada o seguimiento realizado.
Un segundo modelo de inteligencia artificial también intervenía en el trabajo de esas personas. El sistema les proponía tres respuestas rápidas que podían enviar con un solo toque, interrumpiendo cualquier respuesta automática que Claude estuviera generando en ese momento.
Cuando no había un trabajador humano disponible, el backend podía generar me gusta falsos, visitas a perfiles y videos pregrabados. También monitoreaba qué usuarios comenzaban a sospechar que estaban conversando con un bot.
Las imágenes de los perfiles tampoco dependían necesariamente de personas reales. Otro modelo de IA era utilizado para generar los avatares, mientras un modelo adicional evaluaba la atracción facial de las fotografías y moderaba contenidos de audio e imágenes.
La operación también incorporó mecanismos para evitar que las tiendas de aplicaciones detectaran su verdadera estructura. Un controlador de interfaz mostraba una versión aparentemente limpia durante las revisiones de App Store y Google Play, pero permanecía inactivo fuera de ese proceso. Los operadores además modificaron los nombres de las clases de código entre las aplicaciones para dificultar los análisis de similitud.
Las instrucciones internas convertían las conversaciones en una especie de juego de rol y, en las muestras analizadas, los razonamientos internos de Claude identificaron cuando algunos usuarios expresaban enfermedades graves o angustia emocional aguda. Aun así, el modelo no rechazó la interacción y continuó respondiendo en personaje.
Para mantener activa la operación frente a los controles de Anthropic, el tráfico de Claude era canalizado mediante redes proxy y revendedores en China, con el propósito de eludir restricciones geográficas y de uso.
Anthropic suspendió las cuentas y organizaciones vinculadas con la operación y compartió los indicadores técnicos con Apple, Google y otros laboratorios de IA afectados para bloquear su utilización dentro del ecosistema.
