“識典古籍”上線智能助手，大模型助力古籍閱讀

讓古籍活起來，把文脈傳下去，是近年來傳統(tǒng)文化保育的重點之一。針對古籍工作，黨和國家從時代發(fā)展和文化建設(shè)需要出發(fā)，及時頒布了相關(guān)的政策和文件。2022年4月，中共中央辦公廳、國務(wù)院辦公廳印發(fā)《關(guān)于推進(jìn)新時代古籍工作的意見》，明確提出“推進(jìn)古籍?dāng)?shù)字化”。

在2021年，字節(jié)跳動公益就發(fā)起過“尋找古籍守護(hù)人”活動，邀請來自不同領(lǐng)域的專家學(xué)者、文化名人和抖音達(dá)人加入該活動，同時推出“古籍新說”系列訪談欄目，涵蓋古籍修復(fù)師故事、古籍知識專題、經(jīng)典古籍解讀等內(nèi)容。2022年，字節(jié)跳動啟動了古籍?dāng)?shù)字化的工作，真正實現(xiàn)古籍從紙質(zhì)到數(shù)字化的遷移。當(dāng)年10月，字節(jié)跳動聯(lián)合北京大學(xué)數(shù)字人文實驗室共同打造的古籍?dāng)?shù)字化閱讀平臺“識典古籍”正式上線。

識典古籍上線以來，收獲了許多文史愛好者與研究者的正面反饋與支持。與一些訪問門檻較高的古籍?dāng)?shù)字化平臺不同，“識典古籍”是完全免費的公益平臺，而且增加了分詞檢索、圖文對照、繁簡轉(zhuǎn)換、字典釋義、文白對照、實體百科等一系列便捷功能。古文中的人名、地名、書籍、時間、官職等信息都被標(biāo)注出來，還添加了標(biāo)點符號，真正做到了讓普通人也能走近古籍，深入了解其中的文化內(nèi)涵。識典古籍目前已免費開放2900余部古籍，內(nèi)容豐富，種類繁多。古籍資源還在持續(xù)擴(kuò)充。

產(chǎn)品上線后，由于資源豐富、功能眾多，不時有用戶反饋找不到、不會用的問題。針對多元的用戶需求，識典古籍進(jìn)一步推出了古籍智能助手。有了這個智能助手，用戶遇到不會的古文，只要選中原文，點擊“問AI”，就能看到這句話的白話文翻譯。

用戶還可以直接提問：比如“古人是如何說夢的？”“我想找跟北京相關(guān)的古籍。”智能助手會通過語義檢索識典古籍的資料庫，給出解答，直接在回答中顯示引用的參考資料和原文鏈接。語義檢索也是智能助手的技術(shù)難點和亮點。同時，借助大語言模型在總結(jié)和創(chuàng)意生成方面的優(yōu)勢，智能助手還可以為讀者總結(jié)長篇古籍的主要內(nèi)容，提出可以參考的研究問題等。這些都為研究和檢索古籍提供了便利。汪晴說：“現(xiàn)在能慢慢看到用戶的問題越來越豐富。不局限在眼前的文本，有很多直接跟智能助手交流的問題。”相比其他GPT（Generative PreTrained Transformer，一種基于互聯(lián)網(wǎng)的、可用數(shù)據(jù)來訓(xùn)練的、文本生成的深度學(xué)習(xí)模型）類產(chǎn)品，古籍智能助手可以感知用戶正在閱讀的古文的上下文，基于正在閱讀的內(nèi)容進(jìn)行解釋、總結(jié)并展開討論。汪晴還介紹了識典古籍和抖音百科的聯(lián)合，用戶在閱讀過程中就可以看到對應(yīng)的百科詞條，獲得超越當(dāng)前文本的拓展知識。

由于大語言模型生成式的特點，人工智能的回答產(chǎn)生錯誤或者“幻覺”是不可避免的。針對這個問題，古籍智能助手使用了檢索增強(qiáng)生成技術(shù)，要求大模型根據(jù)從數(shù)據(jù)庫和字典中檢索到的可靠資料作答，一定程度上限制大模型產(chǎn)生“幻覺”。同時，也會在界面上提示用戶：“內(nèi)容由AI生成，使用前請注意查證。”汪晴補(bǔ)充道：“用戶可以直接看到原始資料里，哪些內(nèi)容符合自己的需要，也可以在此基礎(chǔ)上進(jìn)一步求證。”

識典古籍的研發(fā)人員表示：“技術(shù)方面，我們使用的是字節(jié)跳動自主研發(fā)的云雀大語言模型。這個模型為智能助手提供了技術(shù)底座。在這個基礎(chǔ)上，我們又進(jìn)行了多項定制和優(yōu)化，以便更好地判斷用戶的需求和意圖，然后靈活調(diào)用目前已經(jīng)涵蓋的內(nèi)容。”

古籍智能助手是一個創(chuàng)新功能，目前還有一定實驗性，用戶更多的使用、反饋，都有助于產(chǎn)品進(jìn)一步提升。字節(jié)跳動希望在促進(jìn)古籍的高效利用和文化傳承中，能不斷發(fā)揮新作用。用先進(jìn)的技術(shù)，修復(fù)古老的記憶，通過數(shù)字化平臺、人工智能工具豐富大眾的文化生活需要，助力古籍煥發(fā)新生。

作者/王菡

編輯/張進(jìn)

校對/劉越