眾人拾柴火焰高。

北京時(shí)間 12 月 14 日凌晨，OpenAI CEO Sam Altman 在 X（Twitter）上發(fā)布了一則推文，正式宣告重新開放 ChatGPT Plus 新用戶訂閱。按照 Altman 的說法，核心原因是 OpenAI 已經(jīng)找到了更多的 GPU，原文是：we found more gpus.

就在 1 個(gè)月前，也是 Altman 宣布暫停 ChatGPT Plus 新用戶訂閱（20 美元/月，約合人民幣 141 元/月），理由是「開發(fā)日后使用量的激增超出了我們的承受能力，我們希望確保每個(gè)人都有良好的體驗(yàn)�！�

即使對(duì)于風(fēng)頭正盛的 OpenAI 來說，這也不是一件易事。

要知道，頂級(jí) GPU，或者是算力早就成為了科技公司的一種戰(zhàn)略資源，甚至是吸引頂級(jí)研究人員的「利器」。公開報(bào)道指出，作為全球英偉達(dá) H100 GPU 儲(chǔ)備第二多的公司，Meta 已經(jīng)將大量 H100 作為吸引頂級(jí) AI 人才的招聘策略。

難怪 Altman 新推文下面有網(wǎng)友再次感嘆道：「GPU 是新的石油�！�

圖/ X（Twitter）

但算力依然受限，核心是大模型訓(xùn)練、推理都嚴(yán)重依賴于英偉達(dá)高端 GPU，而英偉達(dá)又受限于臺(tái)積電先進(jìn)芯片制造工藝、封裝工藝以及韓國 HBM 內(nèi)存的產(chǎn)能。

說到底，還是算力不夠用，「供給」趕不上「需求」。這不僅是 OpenAI 一家公司，也是整個(gè) AI 行業(yè)所面臨的危機(jī)。但現(xiàn)在 OpenAI 重新開放了 ChatGPT Plus 訂閱，又是否意味著行業(yè)已經(jīng)走出了算力短缺的危機(jī)？

并不盡然。

自始至終，OpenAI 都沒有明確指出所謂「找到」，是指從「算力之王」英偉達(dá)購買到了更多的英偉達(dá) GPU，還是從「幕后大佬」微軟那里拿到的支持，又或是從「最強(qiáng)備胎」AMD 買到最新一批的 AI 芯片 Instinct MI300X。

但至少可以肯定，算力市場正在經(jīng)歷一輪洗牌。

英偉達(dá)的對(duì)手們

一周前，谷歌 DeepMind CEO Demis Hassabis 代表 Gemini 團(tuán)隊(duì)正式推出了全新一代多模態(tài)大模型 Gemini，擁有「視覺」和「聽覺」，還有強(qiáng)大的學(xué)習(xí)和推理能力。其中，Gemini Ultra 直接對(duì)標(biāo)公認(rèn)最強(qiáng)大的 GPT-4 模型，行業(yè)推測參數(shù)超萬億。

更耐人尋味的是，在一眾基于英偉達(dá)高端 GPU 訓(xùn)練出的大模型中，Gemini 是唯一一個(gè)完全基于自研 AI 芯片—— TPU 訓(xùn)練出的萬億參數(shù)大模型。

TPU v5p 集群，圖/谷歌

從單片性能來看，不管是 TPU v5e、v4 還是最新發(fā)布的 v5p 其實(shí)都遠(yuǎn)不是英偉達(dá) H200、H100 的對(duì)手。以谷歌最新的 TPU v5p 為例，INT8 下的峰值算力僅為 918 TFLOPs，遠(yuǎn)低于上一代英偉達(dá) H100 的 1979 TFLOPs。

但就像半導(dǎo)體研究機(jī)構(gòu) Semianalys 首席分析師 Dylan Patel 指出的，「對(duì)人工智能基礎(chǔ)設(shè)施來說，系統(tǒng)能力比微架構(gòu)更重要。」通俗來講就是，芯片集群的算力比單塊芯片的算力更重要。

在大模型訓(xùn)練、推理的大規(guī)模計(jì)算之中，單塊芯片計(jì)算完成后需要進(jìn)行通信，但受制于通信效率實(shí)際往往無法做到全部傳輸，這就意味著部分算力被浪費(fèi)了。行業(yè)搶購英偉達(dá) GPU 除了因?yàn)樽畛墒斓?CUDA 生態(tài)，在于單塊更強(qiáng) GPU 提供的效率提升，更在于英偉達(dá) NVLink、NVSwitch 等通信技術(shù)可以實(shí)現(xiàn)芯片集群的算力最大。

圖/英偉達(dá)

而谷歌自研 TPU 一開始的目的就是用在全球數(shù)據(jù)中心，不可能不重視多芯片互連技術(shù)。事實(shí)上，谷歌也沒有公布訓(xùn)練 Gemini 使用的 TPU 數(shù)目，而是強(qiáng)調(diào)動(dòng)用了不只一個(gè)集群，甚至不只一個(gè)數(shù)據(jù)中心。

不僅如此，谷歌還宣稱，包括 Salesforce 和 Lightrick 等客戶已經(jīng)在使用谷歌云的 TPU v5p 超級(jí)計(jì)算機(jī)來訓(xùn)練大模型。

谷歌之外，微軟在 11 月舉辦的 Ignite 大會(huì)發(fā)布了自研 AI 芯片——Maia，亞馬遜也于同月舉辦的 re:Invent 大會(huì)上推出自研 AI 芯片——AWS Trainium2。不過，目前亞馬遜、微軟都還沒有推出基于自研 AI 芯片訓(xùn)練的大模型，更多還是用于大模型的推理，但也有 AI 獨(dú)角獸 Anthropic 宣布了基于 Trainium2 構(gòu)建模型的計(jì)劃。

圖/亞馬遜

不同于云計(jì)算三巨頭的競爭，英偉達(dá)老對(duì)手、芯片巨頭 AMD 則在本月初的 Advancing AI 發(fā)布會(huì)上，正式推出了高端 GPU Instinct MI300X（以下簡稱 MI300X），谷歌、亞馬遜、微軟、OpenAI、甲骨文、Meta、戴爾、惠普、聯(lián)想等公司紛紛為其站臺(tái)。

生態(tài)上，AMD ROCm 雖然相比英偉達(dá) CUDA 生態(tài)還有不小的差距，但 AMD 也借助整個(gè)行業(yè)加注「備胎」的風(fēng)向緊趕慢趕，而且 AMD CEO 蘇姿豐今年早些時(shí)候就表示，她不相信在 AI 芯片市場發(fā)展如此之快的情況下還會(huì)有什么「護(hù)城河」一說。

與此同時(shí)，微軟、Meta 也都承諾購買 MI300X 用于 AI 計(jì)算需求，甲骨文甚至提前先采購了一批。另據(jù)供應(yīng)鏈傳聞，微軟為此還提前一步砍掉了英偉達(dá)的部分訂單。

王權(quán)沒有永恒

眾所周知，GPU 最初的目的就是為游戲和視頻進(jìn)行圖像渲染。但前英偉達(dá)首席科學(xué)家戴維·柯克（David Kirk）一直有個(gè)夢想——將主要服務(wù)于圖像渲染的 GPU 算力「通用化」，使之轉(zhuǎn)變?yōu)橥ㄓ盟懔χ行摹?/p>

2006 年，戴維·柯克說服了英偉達(dá)創(chuàng)始人兼 CEO 黃仁勛推出了 CUDA（Compute Unified Device Architecture，統(tǒng)一計(jì)算架構(gòu)）。

CUDA 的今天從來不是一蹴而就的，而是老黃連續(xù)十多年堅(jiān)定的投入才實(shí)現(xiàn)的。從游戲、科學(xué)研究到區(qū)塊鏈、挖礦，再到元宇宙以及今天的生成式 AI，老黃不斷為 CUDA 和 GPU 算力尋找計(jì)算的出口和未來，包括在 2016 向剛剛成立的 OpenAI 捐出英偉達(dá)的第一臺(tái) AI 超級(jí)計(jì)算機(jī)——DGX-1。

黃仁勛，圖/英偉達(dá)

正如多年前老黃給俄勒岡州立大學(xué)畢業(yè)生的寄語：「當(dāng)有人全力以赴時(shí)，他們就能做你做不到的事情。全力以赴，不留后手�！�

而很多人并不知道，早在去年 ChatGPT 推出之前，英偉達(dá)的數(shù)據(jù)中心收入就超過了游戲業(yè)務(wù)，在 ChatGPT 引爆全球科技行業(yè)之后，數(shù)據(jù)中心業(yè)務(wù)更是如同開掛般持續(xù)增長，完全壓過了來自游戲玩家的收入。

但王權(quán)沒有永恒。

大模型的興起創(chuàng)造了海量的算力需求，英偉達(dá)的高端 GPU 幾乎成為了全球科技公司的首選目標(biāo)。但首先，英偉達(dá)一家公司難以滿足全球市場（以中美為主）對(duì)于 AI 算力的需求；其次，不管從風(fēng)險(xiǎn)控制還是成本角度考慮，大公司在長期來看都不會(huì)接受「把雞蛋放在一個(gè)籃子」。

最后，算力市場從來不缺競爭者，也并非贏家通吃，至少蘇媽就認(rèn)為，「這個(gè)市場將會(huì)有多個(gè)贏家�！�

蘇姿豐，圖/ AMD

事實(shí)上除了英偉達(dá)，另一家芯片巨頭博通也是大模型浪潮的幕后贏家。更遑論，還有以谷歌為代表的云計(jì)算巨頭，正在試圖垂直整合，實(shí)現(xiàn)從底層芯片到訓(xùn)練框架的自研。

同時(shí)就像前文所述，英偉達(dá)一家公司難以滿足全球持續(xù)增長又不斷變化的算力需求，而 AMD、谷歌、微軟、亞馬遜以及更多公司的加入，將會(huì)徹底改變算力的供給，提供更強(qiáng)大、更便宜的算力，才可能真正讓大模型成為「社會(huì)基礎(chǔ)設(shè)施」。

老黃會(huì)樂見這樣的變化嗎？很難講，但至少在送出那臺(tái)贈(zèng)送給 OpenAI 的超級(jí)計(jì)算機(jī)時(shí)，他還在上面寫了一句話：

「為了計(jì)算和人類的未來，我向你們獻(xiàn)上世界上第一臺(tái) DGX-1。」

圖/英偉達(dá)

來源：雷科技

       原文標(biāo)題 : GPT付費(fèi)訂閱再度開放，AI界的「石油危機(jī)」解決了？