解決了算力之困后，端側(cè)大模型將有可能最先引爆本輪AI革命的盈利點。

算力和數(shù)據(jù)的天花板，決定了本輪的AI熱潮究竟能走多遠。

但不幸的是，對國內(nèi)而言，其中的算力天花板，離“到頂”已經(jīng)越來越近。

就在8月初，美簽署最新行政令，禁止美國對中國計算機芯片等敏感技術(shù)進行一些新投資，重點將在限制美國資本對于中國半導(dǎo)體設(shè)計軟件和制造硬件的投資。

此消息一出，不少人頓感：國內(nèi)算力危矣！

而機警的大廠，也開始了各自未雨綢繆的準備。

《金融時報》的一篇報道稱，國內(nèi)包括阿里、字節(jié)在內(nèi)的科技巨頭，已經(jīng)訂購50億美元的英偉達的A800芯片，來面對訓(xùn)練大語言模型需要的算力挑戰(zhàn)。

按照此前媒體報道，目前中國企業(yè)GPU芯片持有量超過1萬枚的不超過5家，擁有1萬枚A100的至多1家。

那么，在愈發(fā)緊張的算力之下，中國AI的前途、命運將如何發(fā)展？

短期來看，算力之困對于業(yè)內(nèi)，似乎是個無解的問題。然而，技術(shù)的發(fā)展，有時就像生物的進化，當一種技術(shù)在面臨“生存挑戰(zhàn)”時，也會由于選擇壓力而發(fā)生一系列的突變。

而對國內(nèi)而言，這樣的突變方向，也許就是分散于各個終端里的端側(cè)大模型。

01 端側(cè)大模型，如何解算力之困？

端側(cè)大模型的發(fā)展，對國內(nèi)算力突圍有著怎樣的意義？這還得從目前云計算的需求說起。

當下，面對大模型高昂的算力成本，許多致力于涉足AI領(lǐng)域，但卻算力匱乏的企業(yè)，往往都選擇了租用云算力的方式，來滿足訓(xùn)練需求。

在此背景下，昇騰AI集群這樣的云服務(wù)平臺也趁勢而起，成為了孵化國內(nèi)各個大模型的“母工廠”。

然而，即使是云計算本身，也需要大量的GPU支撐。

如果云服務(wù)商無法獲取足夠的GPU資源，那么它們也無法為國內(nèi)AI企業(yè)提供高效、可靠的云計算服務(wù)。

而端側(cè)AI最重要的意義，就在于分擔(dān)了目前國內(nèi)云計算的壓力。

倘若我們將十幾億分散的智能手機，當成了一個個潛在的、擁有大量閑置算力的移動計算單元，那么部署在手機中的端側(cè)AI，就能在這些設(shè)備閑置時間里，將這些碎片化、分布式算力利用起來，產(chǎn)生頗為可觀的規(guī)模效應(yīng)。

鴻蒙4中出現(xiàn)的手機大模型

具體來說，聯(lián)邦計算，就是這樣為人熟知的分布式計算方式之一。

所謂聯(lián)邦計算，簡而言之，就是在數(shù)據(jù)源（例如用戶設(shè)備）上進行模型的局部訓(xùn)練，然后將這些局部模型的參數(shù)或更新聚合到中央服務(wù)器上，形成一個“全局模型”。

相比于集中式的訓(xùn)練，這種分布式的方式可以更好地利用各個設(shè)備的計算能力，降低中央服務(wù)器的算力需求。

在這樣的過程中，依靠終端設(shè)備（例如手機）的龐大數(shù)量規(guī)模，每個“全局模型”的訓(xùn)練成本，在無意中便被不斷攤薄了。

因為每個“小模型”的訓(xùn)練只需要消耗端側(cè)設(shè)備的計算資源，而不需要傳輸大量的原始數(shù)據(jù)到云端。這樣，就可以節(jié)省網(wǎng)絡(luò)帶寬和云端存儲空間，也可以減少云端服務(wù)器的計算壓力。

更重要的是，與云端GPU這類高成本的訓(xùn)練方式相比，由于端側(cè)AI芯片往往是針對特定的AI應(yīng)用和算法，進行優(yōu)化和定制，因此其往往有著相對更明確的“回血”途徑。

例如，前段時間，爆火的妙鴨相機，大家應(yīng)該都聽說了。在其最受追捧的初期，成千上萬的用戶涌進應(yīng)用中，高峰期一度有4000-5000人排隊，需要等待10多個小時才能出片。

之后，是阿里云進行了緊急擴容，才勉強應(yīng)對了這暴漲數(shù)百倍的算力需求。

但倘若用戶不用在云端等待，而是直接在本地，或者通過端云協(xié)同的方式，就能實現(xiàn)這樣的生成效果呢？

一種可能的方式，是先在端側(cè)生成低分辨率的圖片，之后再上傳到云端，用較少的資源對圖片進行清晰化處理。

如此一來，既降低了云端算力的負擔(dān)，又在一定程度上保障了生成的質(zhì)量、效率。

在當下的AI應(yīng)用開發(fā)中，開發(fā)者不僅需要支付云端大模型API接口的成本，還得自己租用服務(wù)器，保證密鑰安全。

如果是文字生成類AI，文字量大的話，相應(yīng)的token也是一筆不小的開支。

而隨著算力門檻的降低，眾多AI應(yīng)用的開發(fā)者，將不再被云端算力的成本所縛，而只需調(diào)用端側(cè)大模型提供的開放API，就可以快速開發(fā)各類AI應(yīng)用。

在此基礎(chǔ)上，一個開放的、多樣化的AI應(yīng)用生態(tài)，就隨著端側(cè)大模型的普及，而應(yīng)運而生了。

02 以“偏”補“全”的端側(cè)芯片

AI應(yīng)用井噴的時代似乎近在眼前，但要想讓每臺手機都標配一個大模型，前面還有道難以回避的門檻——硬件基礎(chǔ)。

由于芯片架構(gòu)不同，在端側(cè)部署時，往往需要對模型網(wǎng)絡(luò)結(jié)構(gòu)進行一通修改才能勉強“上車”。

具體來說，目前GPT這類主流AI所使用的Transformer架構(gòu)，往往部署于云端服務(wù)器。

這是因為GPU對于MHA結(jié)構(gòu)（Transformer中的多頭注意力機制）計算支持更友好。而端側(cè)AI的芯片，則主要側(cè)重于CNN（卷積神經(jīng)網(wǎng)絡(luò)）的結(jié)構(gòu)。

如果將前者強行轉(zhuǎn)移到端側(cè)，帶來的一個明顯問題，就是模型精度下降。

那么有沒有什么辦法，能讓大模型在進行端側(cè)化改造的同時，仍能保證其精度呢？

愛芯元智推出的端側(cè)芯片AX650N，似乎提供了一個可能的路線。

AX650N芯片擁有自研混合精度NPU和愛芯智眸AI-ISP兩大核心技術(shù)，其對Transformer結(jié)構(gòu)的網(wǎng)絡(luò)進行了專門的優(yōu)化，在其NPU中增加了專門用于自注意力計算的單元，可以大幅提升Transformer網(wǎng)絡(luò)的運行速度和準確率。

憑借著這類針對端側(cè)的優(yōu)化技術(shù)，AX650N已經(jīng)做到了在端側(cè)部署原版Swin Transformer只需要5分鐘，而跑起私有模型，只要1個小時就能搞定。

但盡管如此，受限于架構(gòu)和內(nèi)存，這樣的優(yōu)化，僅僅只是針對視覺大模型方向而言的，因為從硬件算力上來說，端側(cè)AI芯片，始終難以做到GPU芯片那樣“面面俱到”的通用性、兼容性。

既然如此，國內(nèi)的大模型之困，是否就指望不上它了？

其實不然，從量的角度來講，邊緣側(cè)、端側(cè)的需求一定比云側(cè)更大，畢竟邊緣側(cè)、端側(cè)設(shè)備會更多。

而在這眾多的需求中，只要使用了大模型的終端（如手機、智能音箱），能做到兩點，那么國內(nèi)大模型在應(yīng)用層，就有盤活的可能。

其中第一點，就是夠降低人們獲取信息、知識的成本。

倘若以后人們打開手機或者其他終端，就能獲得一個諸如私人醫(yī)生和律師、廚師的AI助理，能為我們提供成本低廉、快速的咨詢服務(wù)，那么人們就會對其產(chǎn)生依賴。

因為從行為學(xué)上來說，人總歸是有惰性的。

雖然目前的某些律所，也能為人們提供免費的咨詢服務(wù)，但這其中卻包含了無形的時間成本、溝通成本。

正如互聯(lián)網(wǎng)出現(xiàn)后，雖然人們?nèi)阅芡ㄟ^紙制地圖進行導(dǎo)航，但大部分人卻再也離不開手機上的定位功能一樣。

從某種程度上說，壓縮了各種知識、智能的端側(cè)模型，將會重復(fù)這一過程。

第二點，則是個性化功能的普及。

在“前AI時代”，個性化定制的大規(guī)模推廣，是一件不可想象的事。

在沒有AI技術(shù)支持的情況下，實現(xiàn)個性化定制通常需要大量的人力和時間投入。為每個用戶提供個性化的產(chǎn)品或服務(wù)，往往需要大量的人工處理。

然而，隨著本輪AI革命的到來，人們已經(jīng)在應(yīng)用層，看到了AI用于個性化、定制化服務(wù)的可能。

例如character.Ai一類的應(yīng)用，支持用戶根據(jù)自己的需求、偏好，量身定制一個“AI伴侶”。

試想一下，倘若這樣的定制化服務(wù)進入到了端側(cè)，端側(cè)大模型就能不斷收集用戶數(shù)據(jù)，再進行反饋、訓(xùn)練，并最終打造出一個獨一無二的、貼身的AI助手。

而這樣量身定制的體驗，顯然比大規(guī)模的標準化服務(wù)，更具吸引力。

03 總結(jié)

盡管在模型規(guī)模、性能等方面，端側(cè)大模型目前還遠無法與云端大模型相比，但分布式的算力格局，以及龐大的規(guī)模效應(yīng)，都將大大降低目前國內(nèi)云端算力的負擔(dān)。

而在算力成本降低之后，大量基于API接口的AI應(yīng)用，也得以通過一個個部署在本地的端側(cè)大模型不斷涌現(xiàn)。

在應(yīng)用大爆發(fā)的背景下，一些捕捉到先機的應(yīng)用，就會基于端側(cè)大模型實時響應(yīng)、個性化定制的功能，引爆本輪AI革命真正的盈利點。

而這，正是無數(shù)人在這股AI浪潮中苦苦追尋的。

       原文標題 : 端側(cè)AI，如何化解國內(nèi)算力之困？