行業(yè)大模型如何降本？︱十問AI大模型（三）

大量數(shù)據(jù)、大量參數(shù)，以及龐大復(fù)雜的算法，經(jīng)過超大算力計(jì)算、訓(xùn)練而成的C 端類 ChatGPT大模型，在2023年陸續(xù)涌現(xiàn)。然而，此類TO C的通用大模型參數(shù)量太大，成本也非常高。京東集團(tuán)副總裁、探索研究院院長何曉冬此前在2023世界人工智能大會(huì)上表示，訓(xùn)練時(shí)間在兩個(gè)月左右的基礎(chǔ)通用大模型，成本估計(jì)在幾千萬元。

相比之下，面向垂直領(lǐng)域的行業(yè)大模型所需的算力、參數(shù)量、數(shù)據(jù)量等都更小，成本更低?！巴ㄓ么竽Ｐ偷闹饕杀驹谒懔?、數(shù)據(jù)和人才，其中算力是大頭，To B的行業(yè)大模型成本相比通用大模型小一些，不過業(yè)務(wù)場(chǎng)景的策劃是一個(gè)相對(duì)較高的成本?！蹦成罡煌ê徒逃I(lǐng)域行業(yè)大模型的上市公司內(nèi)部人士告訴第一財(cái)經(jīng)。

據(jù)悉，大模型的總成本主要由訓(xùn)練成本和應(yīng)用成本兩部分構(gòu)成。

訓(xùn)練成本方面，行業(yè)大模型通常采用對(duì)通用大模型進(jìn)行微調(diào)的策略，這能夠顯著降低訓(xùn)練成本?！耙环矫嬷恍枰獮樘囟ㄐ袠I(yè)領(lǐng)域準(zhǔn)備數(shù)據(jù)和知識(shí)，數(shù)據(jù)準(zhǔn)備成本能大幅度降低；另一方面，由于無需調(diào)整通用大模型的所有參數(shù)，在硬件和時(shí)間上的投入也會(huì)減少。綜合來看，行業(yè)大模型的訓(xùn)練成本相比通用大模型有了顯著降低?！倍蒈浖?00378.SZ））運(yùn)營長劉波告訴第一財(cái)經(jīng)。

應(yīng)用成本方面，在處理特定領(lǐng)域的問題時(shí)，因?yàn)橥ㄓ么竽Ｐ筒痪邆漕I(lǐng)域知識(shí)，需要的token數(shù)量通常較多，應(yīng)用成本也因此會(huì)較高，而行業(yè)大模型已經(jīng)集成了特定領(lǐng)域的知識(shí)，需要的token數(shù)量較少，應(yīng)用成本相對(duì)更低。此外，如果選擇私有化部署行業(yè)大模型，則僅需要一次性的算力投資，應(yīng)用成本會(huì)進(jìn)一步降低。

那么，行業(yè)大模型降本具體有哪些策略？

上述上市公司內(nèi)部人士告訴第一財(cái)經(jīng)，行業(yè)大模型降本，一是適當(dāng)采用RAG（檢索增強(qiáng)生成）等輔助大模型，以降低對(duì)大模型參數(shù)的要求；二是選型，根據(jù)需求的上下限選擇合適參數(shù)的模型；三是從客戶需求角度做場(chǎng)景分析，設(shè)計(jì)解決方案，適當(dāng)采用模型的前處理和后處理，降低模型計(jì)算成本；四是注重性價(jià)比，在合適的場(chǎng)景選擇合適的技術(shù)，以大模型和小模型共存的形式來降低成本，達(dá)到總體產(chǎn)品的合適的投入產(chǎn)出比。

劉波補(bǔ)充道，大模型和知識(shí)圖譜的協(xié)同也能夠有效降本?！巴ㄟ^與知識(shí)圖譜的交互，大模型可以重用知識(shí)圖譜中已有的知識(shí)，這有助于大模型在執(zhí)行任務(wù)的過程中進(jìn)行規(guī)劃、推理和驗(yàn)證，降低大模型的訓(xùn)練成本及應(yīng)用成本。”

上述上市公司內(nèi)部人士同時(shí)稱，對(duì)于行業(yè)客戶來說，成本（價(jià)格）并非是第一考慮要素，行業(yè)大模型能否產(chǎn)生價(jià)值，讓用戶獲得一個(gè)比較好的ROA（資產(chǎn)回報(bào)率），才是最重要的。