BAT掀大模型“提效運(yùn)動” 國產(chǎn)大模型訓(xùn)練效率大幅提升

BAT掀大模型“提效運(yùn)動” 國產(chǎn)大模型訓(xùn)練效率大幅提升

封面新聞記者 歐陽宏宇

在算力緊缺的背景下，如何提升大模型訓(xùn)練和推理的效率，并降低成本，成為業(yè)界關(guān)注的焦點。

11月23日，騰訊披露其混元大模型背后的自研機(jī)器學(xué)習(xí)框架Angel再次升級。升級后，該學(xué)習(xí)框架可支持單任務(wù)萬卡級別超大規(guī)模訓(xùn)練，大模型訓(xùn)練效率提升至主流開源框架的2.6倍，千億級大模型訓(xùn)練可節(jié)省50%算力成本。

大模型時代下，模型參數(shù)呈指數(shù)級增長，達(dá)到萬億級別，大模型逐漸從支持單一模態(tài)和任務(wù)發(fā)展為需要支持多種模態(tài)下的多種任務(wù)。該趨勢下，大模型訓(xùn)練所需算力巨大，遠(yuǎn)超單個芯片的處理速度，而多卡分布式訓(xùn)練通信損耗巨大。如何提高硬件資源利用率，成為影響國產(chǎn)大模型技術(shù)發(fā)展和實用性的重要前提。

模型訓(xùn)練效率將決定其進(jìn)化速度，也是BAT等廠商比拼的核心。就在不久前舉行的第二十屆中國計算機(jī)大會上，百度首席技術(shù)官王海峰就公開透露，從今年3月發(fā)布至今，文心大模型4.0訓(xùn)練算法效率已提升3.6倍；通過飛槳與文心的協(xié)同優(yōu)化，周均訓(xùn)練有效率超過98%，推理性能提升50倍。

阿里云通義大模型則聚焦于規(guī)模定理，基于小模型數(shù)據(jù)分布、規(guī)則和配比，研究大規(guī)模參數(shù)規(guī)模下如何提升模型能力，并通過對底層靈駿集群的優(yōu)化，將模型訓(xùn)練效率提升了30%，訓(xùn)練穩(wěn)定性提升了15%。

要提升大模型訓(xùn)練效率，主要在于對芯片、框架、模型、應(yīng)用四層的優(yōu)化，和百度、阿里的邏輯不同，騰訊云對混元大模型的優(yōu)化集中在機(jī)器學(xué)習(xí)訓(xùn)練框架的調(diào)優(yōu)，對預(yù)訓(xùn)練、模型精調(diào)和強(qiáng)化學(xué)習(xí)等全流程進(jìn)行加速和優(yōu)化。

據(jù)介紹，基于HCC高性能計算集群，AngelPTM采用混合精度訓(xùn)練技術(shù)，并優(yōu)化了存儲機(jī)制，可兼容適配多款國產(chǎn)化硬件，能夠以更少的資源和更快的速度訓(xùn)練更大的模型。同時，自研大模型推理框架AngelHCF通過擴(kuò)展并行能力，實現(xiàn)了更快的推理性能和更低成本，相較于業(yè)界主流框架，其推理速度提高了1.3倍。在騰訊混元大模型文生圖的應(yīng)用中，推理耗時從10秒縮短至3至4秒。

事實上，調(diào)優(yōu)模型訓(xùn)練方式，降低成本，最終的目標(biāo)還是更好面向應(yīng)用場景，降低終端應(yīng)用的邊際成本。京東集團(tuán)副總裁何曉冬就表示，目前訓(xùn)練時間在兩個月左右的基礎(chǔ)通用大模型，成本估計在幾千萬元。對此，北京交通大學(xué)教授張宏科看來，未來用戶使用大模型算力應(yīng)像用電一樣“即插即用”；斯坦福大學(xué)教授克里斯·曼寧則預(yù)測，不斷上漲的算力成本，將促使人們尋找更有效的AI算法訓(xùn)練方式，比如，目前已經(jīng)有數(shù)十家公司開發(fā)用于訓(xùn)練和運(yùn)行AI程序的專用計算機(jī)芯片。

【如果您有新聞線索，歡迎向我們報料，一經(jīng)采納有費用酬謝。報料微信關(guān)注：ihxdsb，報料QQ：3386405712】