AI時(shí)代已至，英特爾Gaudi2助力企業(yè)最大化釋放人工智能價(jià)值

人工智能的時(shí)代已經(jīng)到來(lái)。

作為一種滲透性強(qiáng)且具有顛覆性的通用技術(shù)，人工智能正在成為行業(yè)數(shù)智轉(zhuǎn)型的核心，特別是生成式AI的普及，可以有效提高企業(yè)效率、完成創(chuàng)意工作，并最終改善整體業(yè)務(wù)表現(xiàn)。根據(jù)IDC的預(yù)計(jì)，全球AI計(jì)算市場(chǎng)規(guī)模將從2022年的195億美元增長(zhǎng)到2026年的346.6億美元。

對(duì)企業(yè)而言，無(wú)論是基于提高工作效率的考量，還是加速創(chuàng)新的腳步，都有必要對(duì)AI這一關(guān)鍵業(yè)務(wù)進(jìn)行部署，不過(guò)在過(guò)去很長(zhǎng)一段時(shí)間里，水漲船高的GPU價(jià)格讓大規(guī)模部署AI多少有點(diǎn)不切實(shí)際，兩個(gè)月前，英特爾正式于中國(guó)市場(chǎng)推出第二代Gaudi深度學(xué)習(xí)加速器Habana Gaudi2，致力于以領(lǐng)先的性?xún)r(jià)比優(yōu)勢(shì)，加速AI訓(xùn)練及推理，從而成為大規(guī)模部署AI的更優(yōu)解。

從規(guī)格上看，Gaudi2以第一代Gaudi高性能架構(gòu)為基礎(chǔ)，實(shí)現(xiàn)了多方位的性能與能效比提升，具體性能包括24個(gè)可編程Tensor處理器核心（TPCs）、21個(gè)100Gbps（RoCEv2）以太網(wǎng)接口，高達(dá)96GB的HBM2E內(nèi)存容量，2.4TB/秒的總內(nèi)存帶寬，48MB的片上SRAM，同時(shí)集成了多媒體處理引擎。

當(dāng)然，檢驗(yàn)Gaudi2能力的最好方式還是看它的推理和訓(xùn)練性能。日前MLCommons公布了針對(duì)60億參數(shù)大語(yǔ)言模型及計(jì)算機(jī)視覺(jué)與自然語(yǔ)言處理模型GPTJ的MLPerf推理v3.1性能基準(zhǔn)測(cè)試結(jié)果，Gaudi2的測(cè)試結(jié)果驗(yàn)證了其相當(dāng)具有競(jìng)爭(zhēng)力的性能，特別值得注意的一點(diǎn)是NVIDIA H100相比Gaudi2僅表現(xiàn)出1.09倍（服務(wù)器）和1.28 倍（離線(xiàn)）的輕微性能優(yōu)勢(shì)。

“在MLperf 3.1的推理測(cè)試中，Gaudi2和H100的表現(xiàn)十分接近，主要是基于Gaudi2架構(gòu)和軟件設(shè)計(jì)上的領(lǐng)先性以及資源的高效利用率。具體來(lái)說(shuō)，Gaudi2的MME支持了BF16和FP8的加速，且結(jié)構(gòu)設(shè)計(jì)合理，可以高效提升推理的能力。再加上Gaudi2的本身性能普遍高于A100，采用了FP8后與不支持FP8的A100相比，優(yōu)勢(shì)就更明顯了?！盚abana Labs中國(guó)區(qū)總經(jīng)理于明揚(yáng)表示。

從此前披露的MLPerf Training 3.0的結(jié)果來(lái)看，Gaudi2在性能、軟件以及訓(xùn)練系統(tǒng)的成熟度上都達(dá)到了相當(dāng)可觀(guān)的水平，尤其是根據(jù)HuggingFace最近發(fā)布的AI訓(xùn)練性能結(jié)果，則進(jìn)一步表明了Gaudi2在多模態(tài)Transformer模型BridgeTower上的優(yōu)勢(shì)。

總體來(lái)看，作為市場(chǎng)上為數(shù)不多的公開(kāi)支持GPT訓(xùn)練的產(chǎn)品之一，Gaudi2已經(jīng)充分展示了其替代H100和A100的能力，特別是在性?xún)r(jià)比和性能功耗比方面的優(yōu)勢(shì)十分明顯，同時(shí)在軟件生態(tài)上，也突破了傳統(tǒng)CUDA的限制，做到了更好的兼容性。

這里特別要指出的是，在軟件生態(tài)上，英特爾一直秉持著開(kāi)放的主張，多年以來(lái)，英特爾一直通過(guò)開(kāi)發(fā)者社區(qū)與開(kāi)發(fā)者互動(dòng)，并為開(kāi)發(fā)者提供優(yōu)化后的模型、開(kāi)源驅(qū)動(dòng)和工具庫(kù)，同時(shí)支持PyTorch、Deepspeed等開(kāi)源框架加入和維護(hù)開(kāi)放生態(tài)。現(xiàn)如今，英特爾正在加快構(gòu)建一個(gè)開(kāi)放的AI軟件生態(tài)系統(tǒng)，從而為客戶(hù)、合作伙伴和開(kāi)發(fā)人員提供早期訪(fǎng)問(wèn)和便捷、迅速的途徑。此外，英特爾oneAPI也能提供更為開(kāi)放的環(huán)境，并支持不同層面的定制化開(kāi)發(fā)，英特爾和客戶(hù)都可以在軟件中添加新的加速算子，并更新到開(kāi)源社區(qū)之中。

除了Gaudi2之外，英特爾的至強(qiáng)產(chǎn)品組合也同樣能夠有效降低AI的準(zhǔn)入門(mén)檻，眾所周知，第四代至強(qiáng)可擴(kuò)展處理器內(nèi)置了用于加速深度學(xué)習(xí)實(shí)時(shí)推理和訓(xùn)練性能提升的英特爾AMX加速器，在矩陣乘法運(yùn)算性能上得到了大幅提升，與上一代相比，第四代英特爾至強(qiáng)可擴(kuò)展處理器將PyTorch實(shí)時(shí)推理和訓(xùn)練性能提升了10倍，將廣泛的AI工作負(fù)載的推理和訓(xùn)練性能提升到了新的高度。

從AI應(yīng)用的角度來(lái)看，輕負(fù)載的應(yīng)用實(shí)際上對(duì)GPU的需求并沒(méi)有那么急迫，當(dāng)前主流的方案有兩種，一種是把所有AI應(yīng)用加載到單獨(dú)的AI加速卡上運(yùn)算處理，另一種是用一種平臺(tái)解決所有問(wèn)題，現(xiàn)在英特爾的第四代至強(qiáng)可擴(kuò)展處理器在AMX加速器的加持后，本身CPU的AI處理能力已經(jīng)達(dá)到了一個(gè)很高的水平，部分應(yīng)用就可以在不配置AI加速卡的服務(wù)器中完成運(yùn)算，這其實(shí)對(duì)客戶(hù)的價(jià)值是非常大的，客戶(hù)可以只使用一種平臺(tái)部署去解決中低負(fù)載的AI應(yīng)用，并且取得很好的效果。

當(dāng)然，如果是想要支持更大的模型規(guī)模和滿(mǎn)足廣泛的系統(tǒng)需求，異構(gòu)計(jì)算的方案還是首選，無(wú)論是英特爾的GPUMax系列還是Gaudi深度學(xué)習(xí)加速器都能提供完整的硬件支持，其中英特爾至強(qiáng)CPUMax系列是唯一一款具有高帶寬內(nèi)存的x86處理器，無(wú)需更改代碼即可加速多種HPC和AI工作負(fù)載。而Gaudi2專(zhuān)注于機(jī)器學(xué)習(xí)（Machine Learning）和深度學(xué)習(xí)（Deep Learning）的環(huán)境，以及未來(lái)針對(duì)大語(yǔ)言模型（LLMs）的市場(chǎng)需求。

正如英特爾公司首席執(zhí)行官帕特·基辛格在近期的英特爾on技術(shù)創(chuàng)新大會(huì)上指出的那樣，“AI代表著新時(shí)代的到來(lái)。AI正在催生全球增長(zhǎng)的新時(shí)代，在新時(shí)代中，算力起著更為重要的作用，讓所有人迎來(lái)更美好的未來(lái)。對(duì)開(kāi)發(fā)者而言，這將帶來(lái)巨大的社會(huì)和商業(yè)機(jī)遇，以創(chuàng)造更多可能，為世界上的重大挑戰(zhàn)打造解決方案，并造福地球上每一個(gè)人。”于市場(chǎng)而言，無(wú)論是至強(qiáng)產(chǎn)品組合，還是Gaudi2加速器，都承載著英特爾“讓AI無(wú)處不在”的愿景，從而加速構(gòu)建人工智能的美好未來(lái)。

(8337992)