可令A(yù)I模型“輸入狗生成貓”，黑客展示Nightshade工具

可令A(yù)I模型“輸入狗生成貓”，黑客展示Nightshade工具

IT之家 10 月 25 日消息，AI 大模型訓(xùn)練數(shù)據(jù)源版權(quán)問題一直是一個令業(yè)界頭疼的問題，日前有黑客展示了一款名為 Nightshade 的工具，該工具可在不破壞觀感的情況下輕微修改圖片，若有 AI 模型在訓(xùn)練時使用了這些被“下毒”的圖片，模型生圖結(jié)果便會被毀壞。

▲ 圖源 Arxiv

據(jù)悉，Nightshade 工具是一種專從提示詞入手的攻擊手法，號稱“手法相對目前‘在提示詞中加入觸發(fā)字’的后門攻擊法更簡單”，不需介入模型的訓(xùn)練及部署等過程。

Nightshade 工具的作用，主要是輕微修改圖片內(nèi)容，當(dāng)這些被修改的圖片內(nèi)容成為 AI 模型訓(xùn)練數(shù)據(jù)后，整個 AI 模型就有可能被徹底破壞。黑客選擇了 Stability AI 的 Stable Diffusion V2、SDXL 及 DeepFloyd 驗證攻擊效果。

測試顯示，只需要少量“下毒樣本”就擾亂 AI 模型的文生圖模型。黑客使用不到 100 張經(jīng)過修改的“狗的照片”，便污染了 SDXL 模型已經(jīng)養(yǎng)成的“狗”概念，使該模型在接受外界輸入“生成狗的圖片”提示后，反而生成了貓的圖片。

▲ 圖源 Arxiv

此外，Nightshade 攻擊并非針對單一實體“概念”，雖然黑客僅僅用一些“狗的照片”試圖破壞模型對于“狗”的概念，但整個模型的生圖結(jié)果，都會被徹底破壞。

▲ 圖源 Arxiv

IT之家同時發(fā)現(xiàn)，黑客聲稱，經(jīng)過 Nightshade 工具“下毒”的圖片難以辨別，因為該工具主要影響訓(xùn)練數(shù)據(jù)集的“特征空間”。

Nightshade 是屬于內(nèi)容創(chuàng)作者及持有者的工具，是對待‘不尊重版權(quán)聲明’、或‘故意繞過 donotscrape / crawl optout’的 AI 從業(yè)者的強(qiáng)大武器。