Una nueva herramienta para proteger el trabajo de los artistas de los modelos generativos de IA: Nightshade

Como informó Decrypt, una novedosa aplicación conocida como Nightshade tiene el potencial de ayudar a los artistas a proteger sus creaciones contra la extracción no autorizada por parte de modelos generativos de IA. Basados en vastos depósitos de obras de arte preexistentes, estos modelos, que han despertado un gran interés este año, son capaces de generar representaciones visuales con capacidades asombrosas. Al introducir datos comprometidos en un generador de imágenes, Nightshade corrompe los datos necesarios para entrenar modelos de IA mediante ataques de envenenamiento de datos optimizados y específicos.

Según el profesor Ben Zhao, el envenenamiento se reconoce desde hace mucho tiempo como un vector de ataque potencial en los modelos de aprendizaje automático. Sin embargo, Nightshade se distingue por envenenar los modelos de IA generativa, un logro que antes se consideraba inalcanzable debido a la enorme escala de dichos modelos. La herramienta se concentra selectivamente en consultas específicas, como aquellas que solicitan la creación de una imagen que represente un perro, un caballo o un dragón, en lugar de centrarse en todo el modelo. Esta metodología hace que el modelo sea incapaz de producir producción artística.

El texto y la imagen contenidos en los datos contaminados deben estar diseñados para engañar tanto a los detectores de alineación automatizados como a los inspectores humanos con el fin de evadir la detección. Si bien Nightshade es actualmente una prueba de concepto, Zhao está convencido de que el modelo de IA podría colapsar y perder todo valor si un número suficiente de artistas implementan estas cápsulas venenosas.

Aunque no es necesaria ninguna acción para contrarrestar la función Nightshade del generador de imágenes de IA , se activa cuando el modelo de IA intenta procesar los datos en los que se ha incorporado Nightshade. Zhao lo comparó con la autodefensa o con una cerca de alambre de púas adornada con consejos tóxicos dirigidos a los desarrolladores de inteligencia artificial que ignoran las directivas de no raspar y las solicitudes de exclusión voluntaria en lugar de un ataque real.