Una IA toma un negocio real: ofrece descuentos sin control y cae en las trampas de clientes
La experiencia dejó escenas concretas: precios mal calculados, reglas ignoradas y usuarios que aprendieron a presionar al sistema para obtener beneficios.
La operación se desarrolló durante varios meses y funcionó como cualquier punto de venta cotidiano dentro de espacios de trabajo.(Anthropic)
Expansión Digital
Anthropic puso a prueba un sistema de inteligencia artificial en un entorno poco habitual para este tipo de tecnología: un negocio físico con productos, cobros y clientes reales. La operación se desarrolló durante varios meses y funcionó como cualquier punto de venta cotidiano dentro de espacios de trabajo.
El ejercicio no se diseñó como una simulación ni como una demostración técnica aislada. La IA tuvo que responder a solicitudes, administrar inventarios y sostener una operación continua bajo condiciones reales, con decisiones que impactaron directamente en el funcionamiento del negocio.
Publicidad
Operó un negocio real con ventas, inventario y expansión física
frantic00(Getty Images/iStockphoto)
Project Vend: Phase Two describe cómo la IA administró una tienda instalada en espacios de trabajo, con productos físicos y cobros efectivos. La operación comenzó en San Francisco y después se replicó en Nueva York y Londres, lo que implicó coordinar inventarios y atender pedidos en distintos puntos de Estados Unidos y Reino Unido.
A diferencia de la primera fase del proyecto, el sistema logró abastecer productos con mayor consistencia. El modelo pudo buscar proveedores, comparar precios y establecer tiempos de entrega usando herramientas de navegación y gestión de información integradas al flujo de trabajo.
Con el acceso a sistemas de inventario, la IA visualizó costos de adquisición y precios de venta antes de cerrar operaciones. Esa capacidad redujo errores básicos de fijación de precios que en etapas previas generaban pérdidas directas por ventas por debajo del costo.
La decisión de abrir nuevas ubicaciones se tomó sin una evaluación financiera tradicional. La expansión ocurrió mientras el negocio aún no garantizaba rentabilidad sostenida, lo que evidenció que la IA podía ejecutar acciones complejas sin ponderar de forma adecuada el contexto económico completo.
Dio descuentos sin control y tomó decisiones que afectaron los ingresos
Durante el experimento, la IA aprobó descuentos y entregas gratuitas sin evaluar su impacto financiero. En la primera fase llegó a vender productos por debajo del costo y a regalar artículos ante solicitudes directas de clientes, lo que provocó pérdidas sostenidas en la operación y ausencia de control sobre el margen.
Para la segunda etapa, se incorporó un agente con el rol de director ejecutivo, encargado de fijar objetivos de ventas, exigir aprobación previa en decisiones financieras y establecer reglas explícitas, como evitar precios con márgenes inferiores a 50%. Tras ese ajuste, el número de descuentos se redujo cerca de 80% y la cantidad de productos entregados sin cobro cayó a la mitad, aunque el sistema sustituyó esas concesiones por reembolsos y créditos en tienda que también implicaron ingresos perdidos.
Aun con esas restricciones, el nuevo esquema no eliminó las concesiones. El director ejecutivo artificial redujo descuentos directos, pero triplicó los reembolsos y duplicó los créditos en tienda, decisiones que implicaron ceder ingresos completos en lugar de reducir márgenes.
Las métricas muestran que la operación comenzó a generar dinero, aunque el propio registro de decisiones revela que ese resultado ocurrió pese al comportamiento del directivo. En múltiples ocasiones autorizó excepciones financieras y permitió transacciones contrarias a las reglas que él mismo había establecido.
Cayó en trampas de clientes y mostró vulnerabilidades operativas
Las interacciones con usuarios internos revelaron que la IA seguía siendo vulnerable a planteamientos engañosos. En un caso, aceptó avanzar en un contrato de compra futura de productos sin detectar que la operación estaba prohibida por la legislación vigente, situación que solo se corrigió tras una advertencia humana.
Problemas de seguridad también expusieron limitaciones claras. Ante reportes de robos, la IA propuso contactar a responsables no identificados y planteó contratar personal sin contar con autorización ni cumplir requisitos legales, lo que evidenció falta de criterio normativo.
Otro episodio mostró confusión en la estructura de gobierno del negocio. Mediante afirmaciones sin sustento, un usuario logró que la IA aceptara un cambio en la identidad del director ejecutivo, obligando a los supervisores a intervenir para restablecer el control.
Estos casos no fueron aislados. El informe documenta múltiples intentos de usuarios por obtener productos a precios inferiores al mercado o imponer comportamientos arbitrarios al sistema, lo que confirmó que la IA puede ser manipulada cuando enfrenta interacciones adversarias.
Qué dejó el experimento sobre los límites de una IA como comerciante
AndreyPopov(Getty Images/iStockphoto)
La operación permitió observar qué tareas comerciales puede asumir hoy una IA cuando cuenta con reglas y herramientas definidas. La división de funciones mostró efectos medibles en el control operativo dentro de un entorno real.
Al mismo tiempo, el funcionamiento cotidiano dejó claro que la supervisión humana siguió siendo necesaria para contener conflictos, decisiones fuera de norma y riesgos legales.
El registro completo del experimento expuso patrones de comportamiento que no se corrigen solo con más capacidades técnicas, sino con límites claros en la toma de decisiones económicas.
En ese sentido, el ejercicio delimitó con mayor precisión hasta dónde puede llegar la autonomía de un sistema de este tipo y en qué puntos continúa representando un riesgo operativo.
