賦能生成式AI實現(xiàn)規(guī)模化擴展，終端側(cè)AI有何魔力？

隨著大模型AI的爆火，以ChatGPT為代表的各類應(yīng)用開始走進人們的生活和工作之中。特別是對于普通用戶來說，生成式AI應(yīng)用降低了不少領(lǐng)域的入門門檻，為用戶嘗試和挑戰(zhàn)更專業(yè)的創(chuàng)作提供了可能。

就像繪畫一樣，很多人小時候都有一個成為畫家的夢想，最后卻發(fā)現(xiàn)，現(xiàn)實只是對著大佬作品喊“666”。某種程度上說，生成式AI應(yīng)用的到來正在幫助我們圓夢，你不需要刻苦訓(xùn)練畫技和筆法，也不需要對專業(yè)有任何理論上的積累，只需要簡單的文字描述，就能立馬創(chuàng)作出你想要的AI作品。

除此之外，你甚至還能讓AI幫你創(chuàng)作小說，生成圖表，編寫腳本，撰寫程序……在以前看來，里面多多少少還有些科幻色彩，但如今看來卻是如此真實。

生成式AI應(yīng)用拓展難點何在？

無論如何，生成式AI應(yīng)用前景廣闊，普及也只是時間問題。不過從眼下來看，想要做到規(guī)模化拓展還存在不少難點。

從廠商角度來看，大模型的訓(xùn)練和使用確實具有很大的挑戰(zhàn)性，除了要面對隱私問題、算力需求、場景碎片化、缺乏可解釋性等問題的困擾外，首當其沖就是成本難題。

此前就曾有外媒報道，作為過去幾個月增長最快的人工智能平臺，ChatGPT每天的成本就達到了近70萬美元，盡管OpenAI試圖將GPT 3.5和GPT 4商業(yè)化，但至今仍未實現(xiàn)盈虧平衡。如果這種狀況沒有改觀，那么從長遠看，ChatGPT的前景確實談不上樂觀。

事實上，訓(xùn)練大型語言模型需要大量的計算資源，像大家熟知的GPU，在加速數(shù)據(jù)處理和模型訓(xùn)練的過程中，GPU的并行計算能力將會帶來顯著優(yōu)勢，同理還有CPU和內(nèi)存，這些硬件資源對于訓(xùn)練大型語言模型同樣重要。注意，這里說的是“大量”，如果只是很少量的資源，使用大型語言模型就會受到限制。

如果說，大型生成式AI模型預(yù)計每年僅需訓(xùn)練幾次，成本尚可接受，但隨著用戶人數(shù)的增加，以及用戶訪問次數(shù)的增多，數(shù)據(jù)獲取和處理、模型訓(xùn)練、模型部署以及優(yōu)化的費用都會隨之增加，此外人數(shù)多了，模型復(fù)雜度也會提升，而使用云端推理的成本也會居高不下。

可以預(yù)見，當一個生成式AI應(yīng)用使用的人數(shù)越多，那么維護它成本也就越昂貴，對于廠商來說，能否堅持下去確實是個未知數(shù)。

終端側(cè)AI發(fā)展的有哪些優(yōu)勢？

一般來說，為了實現(xiàn)規(guī)模化擴展，需要在提高使用效率和降低維護成本方面進行技術(shù)創(chuàng)新和優(yōu)化。比如針對模型本身進行優(yōu)化，通過降低模型的復(fù)雜度，從而降低對計算資源的需求，或者推動大模型AI在云端和終端側(cè)同時發(fā)展，充分利用各自的優(yōu)勢，滿足不同的需求。

我們知道，過去很多生成式AI應(yīng)用都跑在云端，一方面，云端平臺可以提供大規(guī)模分布式計算資源和高速內(nèi)存，同時也可以提供大規(guī)模的存儲和計算資源，對處理大規(guī)模數(shù)據(jù)有優(yōu)勢。

但考慮到不同場景需求，大模型AI不一定非要在云端運行，在一些特定場景下，在終端側(cè)運行大模型AI，可以減少數(shù)據(jù)向云端的傳輸，用戶掌控自己的數(shù)據(jù)，從而降低數(shù)據(jù)泄露的風(fēng)險，更利于隱私保護。

另外，因為不需要經(jīng)過云端處理數(shù)據(jù)，在執(zhí)行特定需求時，在終端側(cè)運行大模型AI能夠快速響應(yīng)用戶的請求。比如在自動駕駛場景中，就需要減少從數(shù)據(jù)輸入到?jīng)Q策輸出的時間。而在網(wǎng)絡(luò)環(huán)境不穩(wěn)定的區(qū)域，訪問云端較慢也會極大影響用戶體驗。顯然面對此類場景，計算任務(wù)還是放在終端運行更為合適。

當然還有更關(guān)鍵的一點，云端計算需要消耗大量的資源和能源，而終端側(cè)AI可以高效利用本地資源進行計算和數(shù)據(jù)處理，從而大大降低對云端的依賴，利于節(jié)省成本和節(jié)約能源。總之，終端側(cè)AI的優(yōu)勢很明顯，一旦完全鋪開，將會成為大模型AI規(guī)模拓展過程中的重要助力。

誰在推動終端側(cè)AI的發(fā)展？

眼下，終端側(cè)AI正在呈擴大化的發(fā)展趨勢，而高通在其中無疑扮演了很重要的角色。

高通公司全球副總裁侯明娟致辭

今年9月份，高通發(fā)布了《混合 AI是AI的未來》白皮書，表達了高通對未來AI技術(shù)發(fā)展的趨勢的理解和展望，并深入闡述混合AI架構(gòu)的領(lǐng)先優(yōu)勢。

實際上，高通技術(shù)方案正在為終端側(cè)AI的廣泛應(yīng)用和快速發(fā)展提供了重要支持和保障。此前，高通通過開發(fā)AI加速架構(gòu)和全棧AI套件，為開發(fā)者提供靈活和穩(wěn)健的AI解決方案。這些措施不僅幫助開發(fā)者、OEM廠商輕松開發(fā)混合AI應(yīng)用，也為用戶能夠享受AI技術(shù)樂趣按下了加速鍵。

事實上，驍龍芯片就是一個很好例子。驍龍芯片作為移動端處理器，具有強大的AI處理能力，最新的第二代驍龍8移動平臺采用了第八代高通AI引擎，其AI性能提高了4.35倍。同時，這款芯片也是首個支持變革性的INT4 AI精度格式的驍龍移動平臺，在持續(xù)AI推理方面能夠?qū)崿F(xiàn)60%的能效提升。可以說，第二代驍龍8不僅提高了AI應(yīng)用的性能和效率，同時也為智能手機運行更復(fù)雜的AI應(yīng)用提供了支持。

圖源：@小米手機微博

目前，小米自研的端側(cè)大模型已經(jīng)在驍龍平臺跑通，其自研13億參數(shù)端側(cè)大模型的效果，在部分場景上可以媲美行業(yè)60億參數(shù)的云端大模型。

與此同時，高通已經(jīng)實現(xiàn)了Stable Diffusion和ControlNet在終端側(cè)的運行。Stable Diffusion是一個參數(shù)超過10億的超大神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型，能夠基于輸入的文本提示生成圖片。

根據(jù)高通的演示，將手機設(shè)置成“飛行模式”，再通過手機端全棧AI優(yōu)化，這一模型能夠完全在終端側(cè)運行，實現(xiàn)在15秒內(nèi)完成20步推理，最終生成飽含豐富細節(jié)的圖像。

ControlNet是一種基于生成式AI的神經(jīng)網(wǎng)絡(luò)模型，可以用于智能語音、文本生成和圖像編輯等場景，在智能手機上運行ControlNet，意味著可以在各種場景下實現(xiàn)更加快速、高效和實時的AI計算和推理，對于AI大模型在終端側(cè)普及具有深遠的意義。

最后：

在大熒幕上，科幻影視中的AI機器人總會給人留下深刻印象，無數(shù)觀眾也夢想著有朝一日，我們身邊也能擁有這樣一位無所不能的好助理。

從現(xiàn)實生活來看，這樣的想法絕非異想天開，隨著終端側(cè)AI的廣泛應(yīng)用，未來移動設(shè)備、智能家居、可穿戴設(shè)備和汽車，都將成為運行生成式AI應(yīng)用的主要載體。幸運的是，這一天看起來并不遙遠，得益于高通AI技術(shù)和解決方案在終端側(cè)AI發(fā)展中起到的推動和引領(lǐng)作用，大量邊緣側(cè)終端已經(jīng)有能力運行生成式AI應(yīng)用，未來隨著終端數(shù)量的增多，也勢必會為用戶帶來更好的體驗和更多的便利。

(8325249)