La IA no es indestructible y esta herramienta la “envenena”

Nightshade, la herramienta que “envenena” a la IA

Nightshade no nació de una startup, sino de la Universidad de Chicago por el “Nightshade team”, liderado por Shawn Shan, el profesor Ben Zhao y la profesora Heather Zheng. “Tiene como objetivo proteger a los artistas de que no se plagien sus obras con inteligencia artificial”, explica Agustín Huerta, vicepresidente de innovación digital de Globant.

Para que un programa como Stable Diffusion pueda generar imágenes con tan solo escribir un par de palabras, entrena a su red neuronal con imágenes obtenidas de internet. De acuerdo con la respuesta de la compañía , su red neuronal fue entrenada bajo una licencia Creative ML OpenRAIL-M, una licencia que permite el uso comercial y no comercial de imágenes, por lo que, en sentido estricto, no vulneraron los derechos de autor.

Pero hay otras compañías de IA generativa que no son tan transparentes con sus datos, como OpenAI, que también se ha enfrentado a este problema. La compañía afirma que su versión Dall-E 2 fue entrenada con cientos de millones de imágenes con su descripción, pero no liberó los datos propietarios. Y para este tipo de casos se creó Nighstade.

De acuerdo con el experto, la herramienta funciona distorsionando algunos de los píxeles que tiene una imagen. Esto se puede hacer en distintos grados, unos perceptibles a los ojos y otros no tanto.

Lo que ocurre es que cuando cualquiera de estas imágenes procesadas con Nightshade pase por un conjunto de datos para entrenar modelos de IA, se convierten en muestras “venenosas” porque no muestran la imagen real.

Por ejemplo, el equipo de Nightshade proporcionó a Tech Crunch tres imágenes: la Mona Lisa no alterada; una versión procesada con nightshade, casi idéntica para cualquier humano; y una tercera foto donde una IA, en lugar de interpretar la muestra "envenenada" como un retrato de una mujer, la vio como un gato vistiendo una bata.

Zhao y su equipo resaltaron al medio que no están tratando de derribar a las grandes empresas de IA, simplemente están tratando de obligar a los gigantes tecnológicos a pagar por el trabajo con licencia, en lugar de entrenar modelos de IA con imágenes extraídas.

"Hay una manera correcta de hacer esto. El verdadero problema aquí es el consentimiento, se trata de compensación. Simplemente estamos dando a los creadores de contenido una forma de resistir contra el entrenamiento no autorizado", enfatizó Zhao al medio especializado.

Ya existen certificaciones de IA ética

Además de Nightshade, hay otros esfuerzos de ONG para asegurar que el entrenamiento de datos para la IA generativa sea ético. Por ejemplo, Fairly Trained es una organización sin fines de lucro que certifica empresas de IA generativa por sus prácticas de datos de entrenamiento que respetan los derechos de los creadores.

Cuentan con varios tipos de certificaciones, pero una de las principales es el Modelo con Licencia, que puede ser otorgada a cualquier modelo de inteligencia artificial generativa que no utilice ningún trabajo con derechos de autor sin una licencia.

Actualmente existen nueve empresas de IA generativa con esta certificación, que son: Beatoven.AI, Boomy, BRIA AI, Endel, LifeScore, Rightsify, Somms.ai, Soundful y Tuney; que son empresas tanto musicales como audiovisuales.

Otra organización es AI Ethics Lab, dedicada a promover la ética en la IA. Están desarrollando un programa de certificación que evaluará y acreditará prácticas éticas en empresas y organizaciones que utilizan IA, así como ofrecer asesoría a las empresas para ser más éticas en sus prácticas.