行業大模型如何降本？︱十問AI大模型（三）

大量數據、大量參數，以及龐大復雜的算法，經過超大算力計算、訓練而成的C 端類 ChatGPT大模型，在2023年陸續涌現。然而，此類TO C的通用大模型參數量太大，成本也非常高。京東集團副總裁、探索研究院院長何曉冬此前在2023世界人工智能大會上表示，訓練時間在兩個月左右的基礎通用大模型，成本估計在幾千萬元。

相比之下，面向垂直領域的行業大模型所需的算力、參數量、數據量等都更小，成本更低。“通用大模型的主要成本在算力、數據和人才，其中算力是大頭，To B的行業大模型成本相比通用大模型小一些，不過業務場景的策劃是一個相對較高的成本。”某深耕交通和教育領域行業大模型的上市公司內部人士告訴第一財經。

據悉，大模型的總成本主要由訓練成本和應用成本兩部分構成。

訓練成本方面，行業大模型通常采用對通用大模型進行微調的策略，這能夠顯著降低訓練成本。“一方面只需要為特定行業領域準備數據和知識，數據準備成本能大幅度降低；另一方面，由于無需調整通用大模型的所有參數，在硬件和時間上的投入也會減少。綜合來看，行業大模型的訓練成本相比通用大模型有了顯著降低。”鼎捷軟件（300378.SZ））運營長劉波告訴第一財經。

應用成本方面，在處理特定領域的問題時，因為通用大模型不具備領域知識，需要的token數量通常較多，應用成本也因此會較高，而行業大模型已經集成了特定領域的知識，需要的token數量較少，應用成本相對更低。此外，如果選擇私有化部署行業大模型，則僅需要一次性的算力投資，應用成本會進一步降低。

那么，行業大模型降本具體有哪些策略？

上述上市公司內部人士告訴第一財經，行業大模型降本，一是適當采用RAG（檢索增強生成）等輔助大模型，以降低對大模型參數的要求；二是選型，根據需求的上下限選擇合適參數的模型；三是從客戶需求角度做場景分析，設計解決方案，適當采用模型的前處理和后處理，降低模型計算成本；四是注重性價比，在合適的場景選擇合適的技術，以大模型和小模型共存的形式來降低成本，達到總體產品的合適的投入產出比。

劉波補充道，大模型和知識圖譜的協同也能夠有效降本。“通過與知識圖譜的交互，大模型可以重用知識圖譜中已有的知識，這有助于大模型在執行任務的過程中進行規劃、推理和驗證，降低大模型的訓練成本及應用成本。”

上述上市公司內部人士同時稱，對于行業客戶來說，成本（價格）并非是第一考慮要素，行業大模型能否產生價值，讓用戶獲得一個比較好的ROA（資產回報率），才是最重要的。