생성적 AI 모델로부터 예술가의 작업을 보호하는 새로운 도구: Nightshade

Decrypt가 보고한 바와 같이, Nightshade 라고 알려진 새로운 애플리케이션은 아티스트가 생성 AI 모델에 의한 무단 추출로부터 창작물을 보호하는 데 도움을 줄 수 있는 잠재력을 가지고 있습니다. 기존 예술 작품의 방대한 저장소를 기반으로 올해 광범위한 관심을 얻은 이 모델은 놀라운 기능을 갖춘 시각적 표현을 생성할 수 있습니다. Nightshade는 손상된 데이터를 이미지 생성기에 공급하여 최적화되고 즉각적인 데이터 중독 공격을 통해 AI 모델을 훈련하는 데 필요한 데이터를 손상시킵니다.

Ben Zhao 교수에 따르면 중독은 오랫동안 기계 학습 모델에서 잠재적인 공격 벡터로 인식되어 왔습니다. 그러나 Nightshade는 이전에는 그러한 모델의 엄청난 규모로 인해 달성할 수 없는 것으로 간주되었던 성과인 생성 AI 모델을 독살함으로써 차별화되었습니다. 이 도구는 전체 모델을 대상으로 하는 것이 아니라 개, 말, 용을 묘사하는 이미지 생성을 요청하는 것과 같은 특정 쿼리에 선택적으로 집중합니다. 이 방법론은 모델이 예술적 결과물을 생산할 수 없게 만듭니다.

오염된 데이터에 포함된 텍스트와 이미지는 감지를 회피하기 위해 자동화된 정렬 감지기와 인간 검사자를 모두 속이도록 설계되어야 합니다. Nightshade는 현재 개념 증명이지만 Zhao는 충분한 수의 아티스트가 이러한 포이즌 캡슐을 구현하면 AI 모델이 무너지고 모든 가치를 잃을 수 있다고 확신합니다.

AI 이미지 생성기 의 Nightshade 기능에 대응하기 위한 조치는 필요하지 않지만 AI 모델이 Nightshade가 포함된 데이터를 처리하려고 하면 활성화됩니다. Zhao는 이를 실제 공격보다는 스크랩 금지 지시와 거부 요청을 무시하는 AI 개발자를 대상으로 한 유해한 팁으로 장식된 자기 방어 또는 철조망 울타리에 비유했습니다.