萬卡訓練史上最大參數模型！百度文心大模型4.0最快下周見

快科技10月9日消息，日前有媒體報道稱，百度正加緊訓練文心大模型4.0，已經接近可發布狀態，這將是文心大模型3.5版本后，又一個重磅版本。

消息稱，文心大模型4.0進展比預期快很多，將是基礎模型的大升級，理解、生成、邏輯、記憶核心能力都將提升，特別是在邏輯推理、代碼和數學等方面提升最明顯。

根據我們獲得的最新消息，上述消息基本屬實。目前了解到，文心大模型4.0實際上已經在小流量測試。

根據我們拿到的消息，文心大模型4.0的參數規模要大于目前所有公開發布參數的LLM，也是國內首次使用萬卡集群訓練的大模型。這意味著文心大模型4.0的參數規模預計能突破萬億級別。

萬卡集群什么概念？國內之前只有華為、阿里透露已建成萬卡AI集群，但我們都沒看到基于它推出的具體模型。萬卡集群就不容易建了，如果用起來發揮最大化作用則更難了。

據分析，正是因為飛槳的深度聯合，才能高效地基于萬卡集群訓練起如此規模的模型。

不僅訓練成本在增加，文心4.0的推理成本比3.5增加很多，我們還沒拿到具體每千token的推理成本，但據傳大概是此前的810倍，這還是在高利用率（MFU）的情況下。如果利用率更低，估計成本還會繼續增加。

不得不說，大模型真的很費錢。可見，打造領先的底層基礎打模型，就是一場巨頭的游戲。

根據IDC發布的首個大模型評估報告——《AI大模型技術能力評估報告，2023》，百度文心大模型3.5拿下12項指標的7個滿分，綜合評分第一，算法模型第一，行業覆蓋第一，綜合能力在眾多國產大模型中遙遙領先。

經過全面升級后，文心大模型4.0的訓練速度、推理速度等將進一步提升，能否與GPT4一戰甚至超越后者的表現，我們拭目以待。