¿Cómo funciona Pay Per Crawl?
Con esta herramienta, los propietarios de sitios web alojados en Cloudflare pueden elegir si quieren que los rastreadores de IA accedan a su contenido y decidir cómo las empresas desarrolladoras de esta tecnología pueden utilizarlo, así como establecer un precio de acceso a través de un modelo de "pago por rastreo" (pay per crawl, en ingles), lo que les ayudará a controlar cómo se utiliza y compensa su trabajo.
Bajo este esquema, las empresas de IA ahora también deberán indicar su propósito de forma transparente, si sus rastreadores se utilizan para entrenamiento, inferencia o búsqueda, y esto ayuda a los propietarios de sitios web a decidir a qué rastreadores permitirles la entrada.
La iniciativa cuenta con el apoyo de importantes editoriales, entre ellas Condé Nast y Associated Press, así como de empresas de redes sociales como Reddit y Pinterest y representa es el primer paso hacia un futuro más sostenible tanto para los creadores de contenido como para los innovadores en IA.
Stephanie Cohen, directora de estrategia de Cloudflare, dijo que el objetivo de estas herramientas es dar control a los editores sobre su contenido y garantizar un ecosistema sostenible para los creadores de contenido en línea y las empresas de inteligencia artificial.
"El cambio en los patrones de tráfico ha sido rápido, y algo tenía que cambiar", dijo Cohen en una entrevista. "Esto es solo el comienzo de un nuevo modelo para internet".
El enfoque innovador de Cloudflare para bloquear los rastreadores de IA es un cambio radical para los editores y establece un nuevo estándar sobre cómo se respeta el contenido en línea. Cuando las empresas de IA ya no pueden tomar todo lo que desean sin costo alguno, se abre la puerta a la innovación sostenible basada en el consentimiento y la colaboración”, afirmó Roger Lynch, director ejecutivo de Condé Nast.
El consumo de contenido sin control de la IA
Durante décadas, internet funcionó con un intercambio simple: los motores de búsqueda indexan el contenido y dirigen a los usuarios a los sitios web originales, lo cual genera tráfico e ingresos publicitarios para las páginas de todos los tamaños. Este ciclo recompensa a los creadores que producen contenido de calidad con dinero y seguidores, a la vez que ayuda a los usuarios a descubrir información nueva y relevante.
No obstante, ese modelo ya no funciona. Los rastreadores de IA recopilan contenido como textos, artículos e imágenes para generar respuestas, sin enviar a los visitantes a la fuente original, lo que priva a los creadores de ingresos y de la satisfacción de saber que alguien está leyendo su contenido.
Esto sucede debido a que muchas empresas de IA eluden los estándares de protección utilizados por los editores para bloquear la extracción de su contenido para su uso en sistemas de IA y, además, argumentan que no infringen ninguna ley al acceder al contenido de forma gratuita.
En respuesta, algunos grupos de medios de comunicación, incluido el New York Times , demandaron a empresas de inteligencia artificial, como OpenAI, por violación de derechos de autor, mientras que otros han llegado a acuerdos para licenciar su contenido.
Reddit, por ejemplo, demandó a la startup de inteligencia artificial Anthropic por supuestamente recopilar comentarios de usuarios de Reddit para entrenar a su chatbot sin su permiso, aunque por otro lado firmó un acuerdo de licencia de contenido con Google.
"Para que internet sobreviva a la era de la IA, debemos dar a las editoriales el control que se merecen y crear un nuevo modelo económico que funcione para todos: creadores, consumidores, creadores de IA del futuro y el futuro de la web (...) Los rastreadores de IA han estado extrayendo contenido sin límites", afirmó Matthew Prince, cofundador y director general de Cloudflare.
(Con información de Reuters)
