國產(chǎn)百億大模型再增一員！400億參數(shù)孟子GPT發(fā)布，性能提升10-15%

國產(chǎn)百億大模型再增一員！400億參數(shù)孟子GPT發(fā)布，性能提升1015%

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

剛剛，國產(chǎn)大模型明星選手孟子GPT上新！

400億參數(shù)通用大模型正式發(fā)布，已開啟邀測。

數(shù)據(jù)顯示，孟子GPT40B版本全面領(lǐng)先7B版本，大約提升1015個百分點。

并超越部分國內(nèi)大模型，在多語言任務(wù)等方面接近ChatGPT3.5。

孟子GPT來自瀾舟科技，其創(chuàng)始人為NLP領(lǐng)域大牛周明。

自21年成立以來，瀾舟科技先后發(fā)布孟子系列模型、MChat以及多個垂直領(lǐng)域模型，并拿下數(shù)億元融資。

這次發(fā)布是孟子GPT上新。除了基礎(chǔ)大模型以外，瀾舟科技還同步上線了行業(yè)大模型，以及基于大模型的產(chǎn)品應(yīng)用。

分別是：

• 基于孟子GPT打造的金融大模型
• 基于孟子GPT打造的會議內(nèi)容分析平臺“瀾舟智會”

基于這三方面上新，瀾舟科技也表示，未來將全面擁抱MaaS服務(wù)，提供基礎(chǔ)模型、大模型訓練框架/工具包等服務(wù)。

使用更成熟預(yù)訓練技術(shù)

據(jù)發(fā)布會介紹，孟子GPT40B主要在中文及多語言能力、寫作、多輪對話等方面做了提升。

通過網(wǎng)頁、百科、社交媒體、新聞以及高質(zhì)量開源數(shù)據(jù)集，孟子GPT40中文能力更加突出。

并且基于萬億tokens多語言語料聯(lián)合訓練，更進一步提升了英語等語言能力。

在底層算法上，瀾舟表示使用了更成熟的預(yù)訓練技術(shù)，利用50萬指令數(shù)據(jù)精調(diào)，基于70億參數(shù)量的獎懲函數(shù)進行強化學習。

基于FlashAttention的高效注意力計算，訓練速度提升8.5倍。基于TGI等加速框架，推理速度提升4.6倍。

在孟子GPT40B基礎(chǔ)上，還能更進一步訓練出行業(yè)大模型。

同步發(fā)布的瀾舟智會，能提取出會議錄音/視頻的核心內(nèi)容，生成總結(jié)和摘要，并且能對要點進行問答。

就在最近，孟子大模型還登頂中文大語言模型測評榜單CEval。

瀾舟已拿下數(shù)億元融資

瀾舟科技是以NLP技術(shù)為基礎(chǔ)的認知智能公司，由AI大牛周明創(chuàng)辦，成立于2021年6月。

周明，當今NLP領(lǐng)域成就最高的華人之一，他不僅是中國第一個中英翻譯系統(tǒng)的研制者，還在2019年成為AI語言領(lǐng)域最高級頂會ACL（國際計算語言協(xié)會）主席。

1991年在NLP重鎮(zhèn)哈工大拿到博士學位后，周明進入清華任教；1999年被微軟亞洲研究院創(chuàng)始院長李開復(fù)挖走，后來不久成為NLP研究組負責人。

2020年離開MSRA加盟創(chuàng)新工場擔任首席科學家時，周明已擔任MSRA副院長多年。

瀾舟科技成立以來，主打加速AI落地，在輕量化大模型、垂直領(lǐng)域大模型上都做了頗多探索。

據(jù)介紹，除了孟子大模型外，目前瀾舟科技已經(jīng)開源了20個左右大模型。

今年3月，瀾舟科技最新拿下PreA輪融資，由北京中關(guān)村科學城公司領(lǐng)投，斯道資本和創(chuàng)新工場跟投。這是瀾舟科技收獲的第2輪融資，2輪累計總額數(shù)億元。

— 完 —

量子位 QbitAI · 頭條號簽約

關(guān)注我們，第一時間獲知前沿科技動態(tài)