影子圖書館“安娜的檔案”宣布獲得超星旗下讀秀數(shù)據(jù)庫359TB圖書

影子圖書館“安娜的檔案”宣布獲得超星旗下讀秀數(shù)據(jù)庫359TB圖書

IT之家 11 月 5 日消息，影子圖書館“安娜的檔案”官方博客當(dāng)?shù)貢r間 10 月 4 日宣布，該網(wǎng)站現(xiàn)已經(jīng)收購一批“獨特的”750 余萬份、共計 359TB 的電子圖書，并表示愿意為一系列大語言模型公司提供獨家早期訪問權(quán)限，以獲得高質(zhì)量的圖書 OCR（IT之家注：Optical Character Recognition，光學(xué)字符識別）和文本提取。

“安娜的檔案”在博客中介紹，讀秀是由超星數(shù)字圖書館創(chuàng)建的大量掃描圖書的數(shù)據(jù)庫，大多數(shù)是學(xué)術(shù)圖書，通過掃描可以使它們以數(shù)字化的形式提供給大學(xué)和圖書館。“安娜的檔案”表示曾希望批量獲取它，并為此分配了多個月的全職工作。

最終，一位“不可思議、了不起、才華橫溢”的志愿者宣布已經(jīng)完成上述所有工作，并為之“付出巨大代價”，并無償分享了所有藏品。

圖源 Pixabay

從總數(shù)來看，這個收藏品共有 7543702 個文件，多過另一家“影子圖書館”Library Genesis 的 530 萬本非虛構(gòu)圖書。

不過，圖書的原作者通常不會喜歡利用“影子圖書館”來訓(xùn)練 AI 大模型的行為。據(jù)IT之家此前報道，上個月美國就有多名作家向紐約聯(lián)邦法院提起訴訟，指控 Meta、微軟等科技巨頭未經(jīng)許可使用他們的作品來訓(xùn)練 AI 模型。

這一作家團(tuán)體此前已經(jīng)提交了擬議集體版權(quán)訴訟，文件稱 Meta 和微軟采用了具有爭議的“Books3”數(shù)據(jù)集來訓(xùn)練他們的大模型，告訴大模型如何回應(yīng)人類的提示和指令。