免費(fèi)開放390部經(jīng)典，未來3年整理上萬本古籍，這座圖書館上線了測試版

免費(fèi)開放390部經(jīng)典，未來3年整理上萬本古籍，這座圖書館上線了測試版

北大聯(lián)合字節(jié)上線免費(fèi)古籍閱讀平臺

近日，由“北京大學(xué)字節(jié)跳動(dòng)數(shù)字人文開放實(shí)驗(yàn)室”研發(fā)的古籍?dāng)?shù)字化閱讀平臺“識典古籍”測試版正式上線。該平臺涵蓋390部經(jīng)典古籍，主要來自《四部叢刊》，共計(jì)3000多萬字，即日起向公眾免費(fèi)開放。

在很多人的印象里，古籍文本往往艱澀難懂，而且接觸機(jī)會(huì)不多。在數(shù)字時(shí)代，這種情況正在發(fā)生轉(zhuǎn)變。借助現(xiàn)代技術(shù)對典籍進(jìn)行數(shù)字化呈現(xiàn)，將卷帙浩繁的古代典籍“復(fù)活”，讓那些塵封已久的字符重新跳動(dòng)起來，成為每個(gè)人觸手可及的工具與資料庫。

近年來，OCR（光學(xué)文字識別）、AI（人工智能）句讀和知識圖譜等技術(shù)的快速發(fā)展讓古籍?dāng)?shù)字化有了更多可能。一些科技公司與專業(yè)機(jī)構(gòu)和科研院校合作，將技術(shù)優(yōu)勢與專業(yè)知識進(jìn)行有效打通與融合，積累了較為成熟的技術(shù)和經(jīng)驗(yàn)。

這些技術(shù)支撐起如今的“識典古籍”測試版，也成為更多古籍?dāng)?shù)字化的起點(diǎn)。未來三年內(nèi)，“北京大學(xué)字節(jié)跳動(dòng)數(shù)字人文開放實(shí)驗(yàn)室”將陸續(xù)完成10000種古籍的智能化整理工作，基本覆蓋儒家、道家和佛學(xué)的核心典籍目錄。

“識典古籍”測試版網(wǎng)站首頁

為什么古籍保護(hù)需要更開放？

古籍作為中華民族文化傳承的重要渠道之一，記載了大量中華民族文化形態(tài)和發(fā)展歷史。但由于朝代更迭、戰(zhàn)爭、自然災(zāi)害以及年代久遠(yuǎn)等原因，大量古籍已流失或毀壞。2007年，“中華古籍保護(hù)計(jì)劃”開始實(shí)施，迄今已有15年。

經(jīng)過全國古籍普查，每部古籍都擁有了一張“身份證”，研究人員還發(fā)現(xiàn)了包括《永樂大典》“湖”字冊在內(nèi)的一批珍貴文獻(xiàn)。收藏環(huán)境方面，全國1000余家古籍收藏單位的庫房條件有所改善，超過2000萬冊/件古籍得到妥善保護(hù)。

古籍修復(fù)師在工作

而在2022年的當(dāng)下，人們閱讀古籍和查找資料的習(xí)慣和場景越來越多地轉(zhuǎn)移到線上。同時(shí)，普通讀者對于古籍的關(guān)注度也在不斷上升。今年初，98歲的古籍版本目錄學(xué)家沈燮元因?yàn)橐徊考o(jì)錄片，受到廣泛關(guān)注，在網(wǎng)絡(luò)走紅。

在抖音上，國家圖書館副館長、國家古籍保護(hù)中心副主任張志清，國家圖書館古籍修復(fù)專家杜偉生、故宮書畫修復(fù)專家沈洪彩等，通過短視頻的形式介紹傳統(tǒng)經(jīng)典作品的保護(hù)與修復(fù)工作，讓更多人了解到其中的知識和意義。

然而，古籍保護(hù)工作仍然任重道遠(yuǎn)。據(jù)“識典古籍”項(xiàng)目負(fù)責(zé)人介紹，目前亟需修復(fù)的古籍?dāng)?shù)量達(dá)到1000萬冊/件。20萬種古籍中，已有8萬種完成影像數(shù)字化掃描，近4萬種完成文本數(shù)字化。古籍修復(fù)人力成本很高，培養(yǎng)一名專業(yè)修復(fù)人員需要極高的時(shí)間成本，而古籍?dāng)?shù)字化工作也面臨資金缺口大、技術(shù)難度高等困難。

在社會(huì)各界的努力下，一批數(shù)字化古籍平臺涌現(xiàn)出來，包括中國哲學(xué)書電子化計(jì)劃(Chinese Text Project)、書同文古籍?dāng)?shù)據(jù)庫等等。這些平臺有著各自的優(yōu)勢，但也有不同局限。書同文古籍?dāng)?shù)據(jù)庫收費(fèi)較高，普通讀者無法隨時(shí)隨地進(jìn)行查閱和使用。中國哲學(xué)書電子化計(jì)劃目前囊括了超過三萬部著作，但未能解決一個(gè)基本問題，用戶常常無法訪問。

在這樣的背景下，更加開放的合作與探索開始出現(xiàn)。

開放合作下的新趨勢

在文物保護(hù)與傳承的過程中，文保機(jī)構(gòu)、科研院校與科技公司的跨界合作越來越普遍，珍貴古籍、專業(yè)團(tuán)隊(duì)、先進(jìn)技術(shù)由此得以匯合。2018年，半導(dǎo)體公司英特爾與中國文物保護(hù)基金會(huì)合作，啟動(dòng)了利用3D建模與AI識別修復(fù)長城的項(xiàng)目。2021年3月，騰訊聯(lián)合敦煌研究院開發(fā)了AI病害識別技術(shù)，用于壁畫修復(fù)與保護(hù)。

2021年5月，阿里巴巴公益基金會(huì)聯(lián)合四川大學(xué)、美國加州大學(xué)伯克利分校、中國國家圖書館等，推出“漢典重光”古籍平臺，讓一批珍藏于加州大學(xué)伯克利分校的中文古籍善本，以數(shù)字化的形式回歸。該平臺涵蓋的古籍?dāng)?shù)量為20萬頁。

從2021年6月開始，字節(jié)跳動(dòng)聯(lián)合國家圖書館等機(jī)構(gòu)、中國文物保護(hù)基金會(huì)等，在古籍修復(fù)、活化和數(shù)字化等領(lǐng)域開展了一系列合作，包括捐資1000萬元，聯(lián)合成立古籍保護(hù)專項(xiàng)基金等，定向修復(fù)百余冊件珍貴古籍。

字節(jié)跳動(dòng)古籍保護(hù)專項(xiàng)基金啟動(dòng)現(xiàn)場

2022年3月17日，北京大學(xué)與字節(jié)跳動(dòng)合作成立“北京大學(xué)字節(jié)跳動(dòng)數(shù)字人文開放實(shí)驗(yàn)室”，致力于研發(fā)開放的“古籍?dāng)?shù)字化平臺”，將人工智能和大數(shù)據(jù)應(yīng)用在海量的古籍文獻(xiàn)上，實(shí)現(xiàn)對古籍內(nèi)容的智能化整理和古文本知識圖譜的自動(dòng)生成。

近期上線的“識典古籍”平臺測試版，便是這一合作的最新進(jìn)展。據(jù)項(xiàng)目負(fù)責(zé)人介紹，該平臺主要使用了三種技術(shù)，即文字識別、自動(dòng)標(biāo)點(diǎn)、命名實(shí)體識別。

文字識別技術(shù)，是對古籍的影印版文字進(jìn)行單個(gè)切分、文字識別、順序識別。自動(dòng)標(biāo)點(diǎn)技術(shù)，是通過序列標(biāo)注的方式對古籍自動(dòng)進(jìn)行標(biāo)點(diǎn)劃分。命名實(shí)體識別，則是通過序列標(biāo)注識別古籍文本中的命名實(shí)體，支持識別人名、地名、書籍、時(shí)間、官職等信息。目前行業(yè)內(nèi)OCR識別準(zhǔn)確率平均為93%至94%，“識典古籍”的準(zhǔn)確率為96%至97%。

同時(shí)，這些先進(jìn)技術(shù)也離不開人的支持。北京大學(xué)數(shù)字人文研究中心主任王軍表示，北大在這次合作中聯(lián)合各大高校學(xué)者和文獻(xiàn)專家，負(fù)責(zé)人工審核與校對，彌補(bǔ)人工智能有識別錯(cuò)誤率的短板，并利用自有學(xué)術(shù)平臺，連接更多專業(yè)研究者和學(xué)生群體。

該平臺測試版已免費(fèi)向所有用戶開放，在數(shù)字化文本內(nèi)容之外，提供足夠權(quán)威的影印底本作為參照，同時(shí)提供主題詞檢索和繁簡體轉(zhuǎn)換功能，方便專業(yè)研究人員、古籍愛好者以更加高效便利的方式獲取古籍內(nèi)容。同時(shí)，“識典古籍”測試版也存在一些不足，比如典籍?dāng)?shù)量相對較少，標(biāo)點(diǎn)錯(cuò)誤率還需進(jìn)一步降低。

“識典古籍”測試版頁面

接下來，“北京大學(xué)字節(jié)跳動(dòng)數(shù)字人文開放實(shí)驗(yàn)室”計(jì)劃通過人工智能技術(shù)，實(shí)現(xiàn)全自動(dòng)整理校對，借助全社會(huì)的力量，更高效地實(shí)現(xiàn)存量古籍全部數(shù)字化。同時(shí)，“識典古籍”還將向全社會(huì)開放古籍閱讀檢索研究能力，助力古籍文化傳承和傳統(tǒng)文化研究。

編輯：段雅露