興算力智生長，中興通訊“星云研發(fā)大模型”亮相

2023年10月11日13日，在中國移動全球合作伙伴大會舉辦期間，中興通訊“星云研發(fā)大模型”亮相，旨在輔助開發(fā)人員進(jìn)行需求分析、產(chǎn)品設(shè)計(jì)、編程、測試、版本部署等，全流程助力研發(fā)提效。經(jīng)第三方HumanEval評估，“星云研發(fā)大模型”位于編碼類模型第一梯隊(duì)，編碼語言種類多樣性能力和中文編碼能力達(dá)到業(yè)內(nèi)領(lǐng)先水平。

興算力智生長，中興通訊“星云研發(fā)大模型”亮相

直擊痛點(diǎn)，“星云研發(fā)大模型”助力研發(fā)提效

對程序員多種編程語言的高能力要求、長時(shí)間的開發(fā)周期，是現(xiàn)代軟件敏捷開發(fā)中常見的兩個(gè)研發(fā)痛點(diǎn)。為解決上述痛點(diǎn)，中興通訊推出“星云研發(fā)大模型”，輔助開發(fā)人員進(jìn)行需求分析、產(chǎn)品設(shè)計(jì)、編程、測試、版本部署以及產(chǎn)品文檔編寫，為開發(fā)者提供一站式、智能化的研發(fā)體驗(yàn)，讓每個(gè)軟件開發(fā)者都有自己的開發(fā)助手。

其次，“星云研發(fā)大模型”保障研發(fā)全流程的安全可控，包括支持白名單機(jī)制有效控制使用范圍；代碼特征值識別有效識別敏感代碼片段；敏感詞識別機(jī)制可實(shí)時(shí)監(jiān)測并攔截敏感內(nèi)容；完備的后臺審計(jì)機(jī)制可完整回溯安全事件等。

2023年4月，“星云研發(fā)大模型”使用啟動，截至目前，日活人數(shù)達(dá)1.2萬人, 代碼采納率達(dá)40%~45%，編碼提效30%, 整體研發(fā)提效10%。

關(guān)鍵技術(shù)突破，“星云研發(fā)大模型”達(dá)業(yè)內(nèi)領(lǐng)先

星云研發(fā)大模型具有“三全兩一”的特性，“三全”即中興通訊全自研編碼模型；全流程助力研發(fā)提效；支持與合作伙伴的全方位合作；“兩一”即“星云研發(fā)大模型”位于編碼類模型第一梯隊(duì)；助力整體研發(fā)提效10%

中興通訊將大量高質(zhì)量的領(lǐng)域數(shù)據(jù)、KnowHow知識積累、中興通訊多年沉淀的數(shù)十萬篇通信領(lǐng)域技術(shù)文檔和1000億token的無線/核心網(wǎng)/云代碼語料等注入大模型，進(jìn)行增量預(yù)訓(xùn)練，使用并行訓(xùn)練框架。其次，使用高質(zhì)量精調(diào)數(shù)據(jù)進(jìn)行模型精調(diào)，滿足輔助編程場景應(yīng)用，提升研發(fā)效率。

中興通訊自研部署方案，使用動態(tài)batch策略、PagedAttention技術(shù)，結(jié)合無損模型量化，吞吐量大幅提升，單GPU（A800）達(dá)到1500tokens/s，僅使用4張GPU卡（A800）可滿足超千人使用需求。對比業(yè)界常規(guī)的部署方案，（NVIDIA FasterTransformer和Huggingface Transformer），單GPU吞吐量分別提升10+倍和20+倍；結(jié)合int4量化技術(shù)，在模型精度不下降情況下，模型大小和顯存使用量均下降一半，能有效降低部署成本。

“星云研發(fā)大模型”攜手伙伴，加速演進(jìn)

大規(guī)模預(yù)訓(xùn)練語言模型正以驚人的速度演進(jìn)，在自然語言處理、計(jì)算機(jī)視覺、語音識別等領(lǐng)域取得了顯著進(jìn)展，通用人工智能的前景正日益清晰。面向未來，中興通訊“星云研發(fā)大模型”將從模型、算子、語料、算法、平臺等全產(chǎn)品維度，與行業(yè)伙伴全方位合作，助力數(shù)智化轉(zhuǎn)型，攜手共赴智能山海，開創(chuàng)智算生長新篇章。

(8364755)