因?yàn)锳I對(duì)算力的龐大需求，市面上的高算力GPU一直是各方爭(zhēng)搶的香餑餑，而英偉達(dá)也因此賺得盆滿缽滿。不過(guò)現(xiàn)在英偉達(dá)又動(dòng)起了別的心思。

自己作為GPU廠商，為什么不下場(chǎng)做大模型呢？近日，英偉達(dá)推出了自家的全新大模型——ChipNeMo，號(hào)稱擁有430億參數(shù)。

專為芯片設(shè)計(jì)而生的大模型

據(jù)英偉達(dá)官方表示，ChipNeMo專注于輔助芯片設(shè)計(jì)，旨在提高工程師的工作效率。這一大語(yǔ)言模型的應(yīng)用范圍廣泛，包括問(wèn)答、EDA腳本生成和Bug總結(jié)等任務(wù)，使芯片設(shè)計(jì)變得更加便捷。

圖源：站長(zhǎng)之家

研究人員并沒(méi)有直接部署現(xiàn)成的商業(yè)或開(kāi)源LLM，而是采用了以下領(lǐng)域適應(yīng)技術(shù)：自定義分詞器、領(lǐng)域自適應(yīng)持續(xù)預(yù)訓(xùn)練（DAPT）、具有特定領(lǐng)域指令的監(jiān)督微調(diào)（SFT），以及適應(yīng)領(lǐng)域的檢索模型。

結(jié)果表明，與通用基礎(chǔ)模型相比（如擁有700億個(gè)參數(shù)的Llama 2），這些領(lǐng)域適應(yīng)技術(shù)能夠顯著提高LLM的性能。

英偉達(dá)首席科學(xué)家Bill Dally強(qiáng)調(diào)，即使提高生產(chǎn)率的幅度不大，使用ChipNeMo仍然是值得的。ChipNeMo的數(shù)據(jù)集包括Bug總結(jié)、設(shè)計(jì)源、文檔以及硬件相關(guān)的代碼和自然語(yǔ)言文本，經(jīng)過(guò)數(shù)據(jù)采集、清洗和過(guò)濾后，共有241億個(gè)token。

英偉達(dá)采用了領(lǐng)域自適應(yīng)技術(shù)，包括自定義標(biāo)記器、領(lǐng)域自適應(yīng)持續(xù)預(yù)訓(xùn)練、帶有領(lǐng)域特定指令的監(jiān)督微調(diào)等方法，以提升大語(yǔ)言模型在工程助理聊天機(jī)器人、EDA腳本生成和Bug摘要和分析等領(lǐng)域的性能。

結(jié)果顯示，這些領(lǐng)域自適應(yīng)技術(shù)不僅提高了性能，還減小了模型大小，但仍有改進(jìn)空間。英偉達(dá)的這一舉措標(biāo)志著大語(yǔ)言模型在半導(dǎo)體設(shè)計(jì)領(lǐng)域的應(yīng)用邁出了重要的一步，為專業(yè)化領(lǐng)域提供了有用的生成式AI模型。

針對(duì)大模型的幻覺(jué)問(wèn)題，研究人員選擇了檢索增強(qiáng)生成（RAG）的方法。研究人員發(fā)現(xiàn)，在RAG中使用與領(lǐng)域相適應(yīng)的語(yǔ)言模型可以顯著提高特定領(lǐng)域問(wèn)題的答案質(zhì)量。

此外，使用適量的特定領(lǐng)域訓(xùn)練數(shù)據(jù)對(duì)現(xiàn)成的無(wú)監(jiān)督預(yù)訓(xùn)練稠密檢索模型進(jìn)行微調(diào)，可顯著提高檢索準(zhǔn)確率。

用AI設(shè)計(jì)芯片，將是未來(lái)？

實(shí)際上，包括英偉達(dá)在內(nèi)的諸多科技企業(yè)或研發(fā)機(jī)構(gòu)很早就在嘗試?yán)�用AI來(lái)設(shè)計(jì)芯片。今年6月，紐約大學(xué)Tandon工程學(xué)院的研究人員就通過(guò)GPT－4造出了一個(gè)芯片。研究人員利用GPT－4僅用19輪對(duì)話，就造出了130nm芯片，并通過(guò)了Skywater 130nm穿梭機(jī)的流片測(cè)試。

圖源：機(jī)核

2022年4月，英偉達(dá)首席科學(xué)家Bill Dall公開(kāi)了內(nèi)部的重點(diǎn)研究與工作項(xiàng)目，提到其目標(biāo)是利用人工智能來(lái)改進(jìn)自己的產(chǎn)品，比如在其GPU產(chǎn)品設(shè)計(jì)工作中，大量采用人工智能輔助，來(lái)加速以及最佳化GPU芯片的設(shè)計(jì)，相關(guān)設(shè)計(jì)甚至涉及供電模擬設(shè)計(jì)、從電路到GPU規(guī)模的大型積體電路設(shè)計(jì)、架構(gòu)網(wǎng)絡(luò)以及儲(chǔ)存系統(tǒng)管理等。

同時(shí)，英偉達(dá)依托人工智能芯片設(shè)計(jì)工具，可以根據(jù)標(biāo)準(zhǔn)的處理單元布局來(lái)自動(dòng)產(chǎn)生芯片的設(shè)計(jì)圖，也可以用來(lái)檢驗(yàn)人類員工設(shè)計(jì)出來(lái)的芯片布局中有無(wú)錯(cuò)誤。據(jù)Bill Dally當(dāng)時(shí)的說(shuō)法，這套工具只需要在配備兩個(gè)GPU的平臺(tái)上，短短幾天的時(shí)間，就可以超過(guò)一組十人員工一年的工作份量。

今年3月，英偉達(dá)也推出了四款推理平臺(tái)。這些平臺(tái)針對(duì)各種快速興起的生成式AI應(yīng)用進(jìn)行優(yōu)化，能夠幫助開(kāi)發(fā)人員快速構(gòu)建用于提供新服務(wù)和洞察的 AI 驅(qū)動(dòng)的專業(yè)應(yīng)用。這些平臺(tái)可以將NVIDIA全棧推理軟件與最新的 NVIDIA Ada、Hopper 和 Grace Hopper 處理器相結(jié)合，針對(duì)AI視頻、圖像生成、大型語(yǔ)言模型部署、推薦系統(tǒng)推理等需求激增的工作負(fù)載進(jìn)行優(yōu)化。

除了英偉達(dá)之外，微軟、谷歌、ARM、Cadence和Synopsys等公司和機(jī)構(gòu)都在利用AI技術(shù)進(jìn)行芯片設(shè)計(jì)，以提高芯片設(shè)計(jì)的效率和精度。

例如，谷歌利用AI技術(shù)設(shè)計(jì)出了專門針對(duì)圖像和視頻處理的張量處理單元（TPU）芯片，該芯片在谷歌云平臺(tái)上的TensorFlow框架中使用，為機(jī)器學(xué)習(xí)任務(wù)提供了高性能的計(jì)算支持。

此外，微軟研究院也利用AI技術(shù)設(shè)計(jì)出了一種基于Transformer模型的神經(jīng)芯片，該芯片可以并行處理多個(gè)計(jì)算任務(wù)，提高芯片的計(jì)算效率和能效。