上個(gè)月，英偉達(dá)創(chuàng)始人兼CEO黃仁勛在演講中興奮地談?wù)揅hatGPT帶來的變化，感嘆這是“人工智能的iPhone時(shí)刻”。

而在昨晚英偉達(dá)的年度活動(dòng)GTC（GPU Technology Conoference）演講中，黃仁勛又把“AI的iPhone時(shí)刻”這句話重復(fù)了三遍。

英偉達(dá)與AI的關(guān)系不可謂不密切。2012年，Alex koshevsky、Elias suskaver和Jeff Hinton的研究團(tuán)隊(duì)，在英偉達(dá)Geforce GTX 580上使用1400萬張圖片訓(xùn)練了AlexNet計(jì)算機(jī)視覺模型，可處理262千萬億次浮點(diǎn)運(yùn)算。經(jīng)過訓(xùn)練的模型以壓倒性優(yōu)勢(shì)贏得了ImageNET挑戰(zhàn)賽，并觸發(fā)了深度學(xué)習(xí)的大爆炸。

十年之后，相同的戲碼再次上演。OpenAI憑借10000片英偉達(dá)GPU芯片來訓(xùn)練GPT-3大語言模型，需要進(jìn)行323 x 10^21次浮點(diǎn)運(yùn)算，比AlexNet多出一百萬倍，然后創(chuàng)造出了震驚世界，也震驚了黃仁勛自己的ChatGPT。

在ChatGPT以及生成式AI的熱潮下，英偉達(dá)的股價(jià)節(jié)節(jié)攀升，今年以來漲幅超過80%，市值接近6500億美元，一舉超過特斯拉。

英偉達(dá)也把AI當(dāng)做一次二次騰飛的機(jī)遇。2023年初各大科技公司財(cái)報(bào)發(fā)布，英偉達(dá)提及AI 75次，超過谷歌、微軟、meta。本周為期四天的GTC活動(dòng)包含了650多場(chǎng)會(huì)議，由眾多研究者、開發(fā)者和行業(yè)*參與，其中僅生成式AI的主題會(huì)議就超過70場(chǎng)。

黃仁勛曾熱切地表示：“AI 正迎來有史以來最輝煌的時(shí)刻。新的 AI 技術(shù)和迅速蔓延的應(yīng)用正在改變科學(xué)和各行各業(yè)，并為成千上萬的新公司開辟新的疆域。這將是我們迄今為止最重要的一次 GTC?！?/p>

英偉達(dá)確實(shí)沒有讓觀眾失望，在不到80分鐘的演講中，黃仁勛發(fā)布了四款A(yù)I推理芯片，包括針對(duì)生成式AI圖像處理、大模型處理的芯片；發(fā)布了三個(gè)大模型云服務(wù)，分別適用于文本、圖像和生物研究；發(fā)布了超級(jí)計(jì)算機(jī)，以及針對(duì)場(chǎng)景優(yōu)化的應(yīng)用100個(gè)、更新功能的工業(yè)元宇宙Omniverse。

作為一家以GPU為核心的公司，英偉達(dá)不滿足于只提供算力，早已布局AI的各個(gè)領(lǐng)域。十年之前的深度學(xué)習(xí)浪潮讓英偉達(dá)贏了*次，十年之后的生成式AI浪潮，英偉達(dá)還會(huì)繼續(xù)贏第二次嗎？

01 100個(gè)場(chǎng)景的算力加速

生成式AI時(shí)代更加需要英偉達(dá)GPU的算力。黃仁勛首先展示了英偉達(dá)加速計(jì)算能力的更新。

除了底層的芯片，英偉達(dá)早在2006年就推出了CUDA生態(tài)，以幫助用戶通過簡(jiǎn)單編程來使用GPU。針對(duì)不同的應(yīng)用、場(chǎng)景，英偉達(dá)會(huì)做相應(yīng)的適配和優(yōu)化，也即“加速庫”。

現(xiàn)有的300個(gè)加速庫和400個(gè)AI模型覆蓋了量子計(jì)算、數(shù)據(jù)處理、機(jī)器學(xué)習(xí)等廣泛的領(lǐng)域，已經(jīng)有數(shù)千款應(yīng)用被優(yōu)化。

而這次的GTC上，英偉達(dá)又更新了100個(gè)場(chǎng)景。

這些場(chǎng)景包括，在CAE軟件中完成流體力學(xué)（CFD）的計(jì)算、助力量子計(jì)算研究平臺(tái)（cuQuantm）、優(yōu)化數(shù)據(jù)庫中的搜索（Spark-Rapids）、優(yōu)化撿取與配送難題PDP（配送多個(gè)地點(diǎn)最短路程計(jì)算）等，并且已經(jīng)在客戶實(shí)際體驗(yàn)中獲得了驗(yàn)證。

除此之外，英偉達(dá)原有多個(gè)推理SDK也有更新，包括在推理時(shí)針對(duì)指定GPU進(jìn)行優(yōu)化的TensorRT、用于數(shù)據(jù)中心深度學(xué)習(xí)框架加速的Triton，以及用于機(jī)器視覺的CV-CUDA、用于視頻處理的VPF等。

值得一提的是，一直不摻和芯片制造的英偉達(dá)，這次通過一個(gè)特別的方式“參與”了一下。

芯片制造對(duì)精度的要求極高，一些產(chǎn)品的精度甚至是細(xì)菌的千分之一，與人類DNA鏈的尺寸相似。“光刻”是芯片制造最重要的環(huán)節(jié)之一，它指的是通過光學(xué)技術(shù)在晶圓上成像，以達(dá)到設(shè)計(jì)及性能預(yù)期。目前，它的精度已經(jīng)可以達(dá)到3納米，也即“3納米制程”。

這樣的光刻技術(shù)也需要大量的計(jì)算，而且是芯片設(shè)計(jì)和生產(chǎn)中消耗計(jì)算量*的部分，每年需要百億的CPU工作小時(shí)，芯片制造商每年的投資預(yù)計(jì)2000億美元。

英偉達(dá)本次與臺(tái)積電、ASML、Synopsys合作，推出計(jì)算光刻庫——cuLitho。這個(gè)由芯片制造、光刻機(jī)、EDA和算力四個(gè)領(lǐng)域Top1企業(yè)合作的產(chǎn)品，已經(jīng)籌備了整整四年，將光刻計(jì)算加速了40倍，從原來處理完一個(gè)掩膜版的2周縮短到了8小時(shí)。

臺(tái)積電將在6月開始驗(yàn)證cuLitho。

02 AI超級(jí)計(jì)算機(jī)與DGX Cloud云服務(wù)

英偉達(dá)的加速計(jì)算始于其AI超級(jí)計(jì)算機(jī)DGX，這是大語言模型背后的動(dòng)力引擎。

2016年，全球*DGX由黃仁勛親手交付給OpenAI，此后《財(cái)富》100強(qiáng)企業(yè)中有一半都安裝了DGX，DGX成為AI研究的必備工具。

DGX配有8個(gè)H100 GPU模組。H100設(shè)計(jì)了一個(gè)專用的模塊來支持transformer架構(gòu)——ChatGPT的底層架構(gòu)。這在GPU領(lǐng)域是開創(chuàng)性的。

H100在去年GTC發(fā)布，是目前地表最強(qiáng)GPU。8個(gè)H100協(xié)同工作，通過NVlink Switch彼此相連，組成了一個(gè)巨型GPU，實(shí)現(xiàn)全面無阻塞通信；計(jì)算結(jié)構(gòu)是AI超級(jí)計(jì)算機(jī)最重要的系統(tǒng)之一，400Gbps超低延遲的英偉達(dá)Quantum-2 InfiniBand具有網(wǎng)絡(luò)內(nèi)的計(jì)算功能，可將成百上千個(gè)DGX節(jié)點(diǎn)連接為一臺(tái)AI超級(jí)計(jì)算機(jī)。

黃仁勛激動(dòng)地表示：“NVIDIA DGX H100是全球客戶構(gòu)建AI基礎(chǔ)設(shè)施的藍(lán)圖，已經(jīng)全面投入生產(chǎn)?！?/p>

微軟宣布Azure將向其H100 AI超級(jí)計(jì)算機(jī)開放私人預(yù)覽版，AWS、Google Cloud、Oracle等云廠商，戴爾、聯(lián)想等服務(wù)器廠商也將很快開放服務(wù)。

DGX最初用作AI研究，但現(xiàn)在正在擴(kuò)展到更多的應(yīng)用場(chǎng)景，黃仁勛將其稱為“現(xiàn)代AI工廠”。

為了讓客戶更輕松、更快地享受英偉達(dá)AI服務(wù)，英偉達(dá)通過與微軟Azure、谷歌GCP、甲骨文OCI合作，推出英偉達(dá)的AI云服務(wù)（NVIDIA DGX Cloud），為客戶提供端到端的AI服務(wù)。

甲骨文將成為英偉達(dá)AI云的*云合作伙伴。英偉達(dá)宣布有50家早期企業(yè)客戶，覆蓋消費(fèi)互聯(lián)網(wǎng)和軟件、醫(yī)療保健、媒體和娛樂、金融服務(wù)。

03英偉達(dá)大模型，AI行業(yè)的代工廠

黃仁勛表示，ChatGPT、Stable Diffusion、DALL-E和Midjourney喚醒了世界對(duì)生成式AI的認(rèn)知，并兩次提到這是“AI的iPhone時(shí)刻”，ChatGPT也是世界上增長(zhǎng)最快的應(yīng)用程序。

如今，每個(gè)人都是程序員，而生成式AI就是新的計(jì)算平臺(tái)。就像過去的PC、互聯(lián)網(wǎng)、移動(dòng)設(shè)備和云一樣，生成AI將重塑幾乎所有行業(yè)。

黃仁勛表示，這個(gè)行業(yè)需要一個(gè)像臺(tái)積電一樣的“AI代工廠”來自定義大模型，而英偉達(dá)要扮演這個(gè)角色。

今天，英偉達(dá)宣布成立“NVIDIA AI Foundations（英偉達(dá)AI基礎(chǔ)大模型）”，這是一項(xiàng)云服務(wù)，面向需要構(gòu)建、改進(jìn)和操作自定義大型語言模型和生成AI的客戶，這些模型和生成AI使用其專有數(shù)據(jù)和特定領(lǐng)域的任務(wù)進(jìn)行訓(xùn)練。

英偉達(dá)AI大模型包含“語言、視覺和生物學(xué)”三大模型。

Nvidia Nemo是“本文-本文”的語言生成模型，模型參數(shù)有80億、430億、與5300億三種類型。從創(chuàng)建專有模型到運(yùn)營(yíng)，英偉達(dá)的AI專家將給予全程的指導(dǎo)合作。利用Nemo，企業(yè)可以快速生成大模型，用來總結(jié)財(cái)務(wù)文件、創(chuàng)建特定品牌或根據(jù)寫作風(fēng)格撰寫電子郵件。

Picasso是一個(gè)視覺語言模型，用于構(gòu)建和部署點(diǎn)生成AI驅(qū)動(dòng)的圖像、視頻和3D應(yīng)用程序。借助在Nvidia dgx云上運(yùn)行的Nvidia Picasso服務(wù)，企業(yè)可以簡(jiǎn)化構(gòu)建自定義生成AI應(yīng)用程序所需的培訓(xùn)、優(yōu)化和推理。黃仁勛宣布，gettyimages、Shutterstock將采用英偉達(dá)Picasso服務(wù)，Adobe將與英偉達(dá)共同打造新一代的生成式AI模型。

第三個(gè)大模型Bionemo的領(lǐng)域是生物學(xué)。藥物研發(fā)是一個(gè)2萬億美元的產(chǎn)業(yè)，其中有2500億美元投入了研發(fā)，而Bionemo包含可用于蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)、蛋白質(zhì)生成、蛋白質(zhì)性質(zhì)預(yù)測(cè)、分子生成、分子對(duì)接等各個(gè)流程的模型，幫助研究人員使用其專有數(shù)據(jù)創(chuàng)建、微調(diào)和服務(wù)自定義模型，來節(jié)省藥物研發(fā)寶貴的時(shí)間與資金。

在數(shù)百家新的AI制藥初創(chuàng)公司之中，英偉達(dá)已經(jīng)積累了至少7家公司，作為Bionemo大模型的早期用戶。

黃仁勛總結(jié)道，英偉達(dá)大模型是一個(gè)“云服務(wù)和代工廠”，用于構(gòu)建自定義語言模型與生成式AI。

04 四款芯片配置、一體化架構(gòu)的推理平臺(tái)，性能提升10倍

自十年前Alexnet以來，深度學(xué)習(xí)開辟了巨大的新市場(chǎng)——自動(dòng)駕駛、機(jī)器人技術(shù)、智能音箱等，并重塑了人們購物、消費(fèi)新聞和享受音樂的方式。而這只是冰山一角。

隨著生成式AI掀起新的機(jī)遇浪潮，AI正處于轉(zhuǎn)折點(diǎn)，使得推理工作負(fù)載呈指數(shù)級(jí)增長(zhǎng)。AI現(xiàn)在可以生成各種數(shù)據(jù)，包括語音、文本、圖像、視頻和3D圖形、蛋白質(zhì)到化學(xué)物質(zhì)。

設(shè)計(jì)一個(gè)云數(shù)據(jù)中心來處理生成式AI是一個(gè)巨大的挑戰(zhàn)。一方面，理想情況下*使用一種加速器，因?yàn)檫@使得數(shù)據(jù)中心具有彈性，能夠處理不可預(yù)測(cè)的流量高峰和低谷；但另一方面，沒有一個(gè)加速器能以*的方式處理算法、模型、數(shù)據(jù)類型和大小的多樣性。

而今天，英偉達(dá)發(fā)布了新的“兼具加速功能和彈性”的推理平臺(tái)——四種配置、一個(gè)體系架構(gòu)、一個(gè)軟件棧。

英偉達(dá)一口氣推出了四款新的芯片，*款為AI視頻芯片 L4。L4是一款針對(duì)視頻的云推理芯片，功能主要集中于視頻解碼和轉(zhuǎn)碼、頻內(nèi)容審核、視頻通話等，例如在視頻通話過程中的背景替換、重新打光、增加眼神交流、語音轉(zhuǎn)錄和實(shí)時(shí)語言翻譯等。

性能方面，在AI視頻領(lǐng)域，一臺(tái)配備 8個(gè)L4的服務(wù)器可以取代 100 多臺(tái)雙插槽 CPU 服務(wù)器。目前，谷歌云平臺(tái)已成為首批使用英偉達(dá) AI 云技術(shù)的企業(yè)之一。

同樣是圖像領(lǐng)域，推理芯片L40主要用于Omniverse、圖形渲染和生成式AI，包括文本到圖像和文本到視頻等。L40的主要應(yīng)用場(chǎng)景對(duì)標(biāo)的是在2018年推出、至今仍是推理芯片主流的T4。根據(jù)英偉達(dá)的介紹，L40 的性能是 T4 的 10 倍，這讓L40在處理上述任務(wù)時(shí)都更加高效。

通過L40，AI編輯軟件Runway讓用戶可以輕松地通過幾個(gè)筆觸就從視頻中刪除一個(gè)對(duì)象，或者改變視頻的背景或前景。相信目前流行的AI圖片生成平臺(tái)Midjourney、Stable Diffusion、DALL-E等都可以通過L40創(chuàng)造更多的可能性。

可以看到，雖然同為針對(duì)圖像的AI推理芯片，L4關(guān)于云端的視頻場(chǎng)景，而L40則更通用，可以實(shí)現(xiàn)所有與圖像相關(guān)的場(chǎng)景優(yōu)化。

針對(duì)如ChatGPT等大模型，英偉達(dá)推出了針對(duì)大模型的芯片——H100 NVL。

大模型對(duì)內(nèi)存和計(jì)算方面的需求較高，也需要很高容量的橫向擴(kuò)展能力。目前，能夠處理擁有1750 億參數(shù)的 GPT-3 等大型語言模型的只有A100，而GPT-4等參數(shù)量更大的模型則需要更多A100的堆疊。性能方面，一臺(tái)8卡的H100 NVL的速度是目前標(biāo)配8卡A100服務(wù)器的10倍。這不僅意味著速度的提升，也將降低大模型公司在算力方面的成本。

最后，AI計(jì)算離不開大數(shù)據(jù)，針對(duì)海量數(shù)據(jù)的存儲(chǔ)、查詢與推理，英偉達(dá)推出了存算一體超級(jí)芯片Grace-Hopper。它由Grace CPU和Hopper GPU連接而成，擁有一個(gè)900GB/秒的高速接口。

目前，CPU會(huì)存儲(chǔ)和查詢巨型數(shù)據(jù)庫，然后把結(jié)果傳輸?shù)紾PU里進(jìn)行推理，這需要花費(fèi)一定的時(shí)間。相較于CPU和GPU之間傳統(tǒng)的通過PCIE連接，在Grace中查詢嵌入并傳輸?shù)紿opper的速度快了七倍。Grace Hopper 可以用來處理大型數(shù)據(jù)集，比如適用于推薦系統(tǒng)和大型語言模型的 AI 數(shù)據(jù)庫。

05 “工業(yè)元宇宙”O(jiān)mniverse

本屆GTC的最后一個(gè)環(huán)節(jié)，是英偉達(dá)的“工業(yè)元宇宙”O(jiān)mniverse。

Omniverse是一個(gè)工業(yè)數(shù)字化平臺(tái)，最早在2019年推出，旨在搭建數(shù)字化和物理世界之間的橋梁，它讓各個(gè)行業(yè)在投入實(shí)際生產(chǎn)之前先以數(shù)字化方式設(shè)計(jì)、建造、運(yùn)營(yíng)和優(yōu)化物理產(chǎn)品和工廠。

Omniverse的用途之一是建立虛擬工廠，在那里所有的機(jī)器都是數(shù)字化的。

黃仁勛介紹道，半導(dǎo)體行業(yè)正在投資5000億美元建造84個(gè)新晶圓廠，2030年汽車制造商將建造300家工廠來生產(chǎn)2億輛電動(dòng)汽車，電池制造商正在建造100多家特大型工廠，物流行業(yè)在全球數(shù)十億平方英尺的倉庫之間輾轉(zhuǎn)運(yùn)輸貨物。

虛擬工廠可以為全球工廠節(jié)省數(shù)十億美元，亞馬遜機(jī)器人是英偉達(dá)omniverse的代表客戶之一。本次GTC，omniverse在幾十個(gè)領(lǐng)域迎來了更新。

目前，已經(jīng)有近30萬創(chuàng)作者和設(shè)計(jì)師下載了omniverse。它不是一個(gè)工具，而是一個(gè)USD網(wǎng)絡(luò)和共享數(shù)據(jù)庫，也是一種與各行各業(yè)使用的設(shè)計(jì)工具相連的基礎(chǔ)結(jié)構(gòu)，可以連接、合成和模擬使用行業(yè)*工具創(chuàng)建的3D資產(chǎn)。

Omniverse的發(fā)展壯大依賴于開放的生態(tài)系統(tǒng)。Omniverse目前已經(jīng)連接到Bentley Systems LumentRT、西門子、NX、羅克韋爾、Unity等，汽車行業(yè)中沃爾沃、通用、梅德賽斯-奔馳、捷豹路虎、寶馬、路特斯、豐田、Lucid等汽車制造商也在使用Omniverse開展工作。其中，寶馬汽車基于Omniverse在匈牙利建造了*座數(shù)字孿生工廠，將在2025年開業(yè)。

今天， 英偉達(dá)還宣布了專門為運(yùn)行Omniverse而設(shè)計(jì)的系統(tǒng)。*款是由英偉達(dá)Ada RTX GPU和英特爾最新CPU驅(qū)動(dòng)的新一代工作站，將從三月份開始在Boxx、戴爾、惠普和聯(lián)想上市；第二個(gè)是針對(duì)Omniverse優(yōu)化的新型Nvidia ovx服務(wù)器，將由戴爾、惠普、Quantn、技嘉、聯(lián)想和SuperMicro提供。

最后，英偉達(dá)還推出Omniverse Cloud的云服務(wù)，支持即時(shí)、安全地訪問托管的Omniverse Cloud API。英偉達(dá)正在與微軟合作，將Omniverse云服務(wù)引入全球各個(gè)行業(yè)。同時(shí)，英偉達(dá)正在將Omniverse云連接到Microsoft 365生產(chǎn)力套件，包括Teams、OneDrive、SharePoint和Azure IoT數(shù)字孿生服務(wù)。

今年的GTC時(shí)長(zhǎng)只有80分鐘，比去年的140分鐘短了近一半，但重要程度卻完全不遜色。

從三款大模型到四款A(yù)I推理芯片，以及優(yōu)化的100個(gè)應(yīng)用場(chǎng)景、更新功能的工業(yè)元宇宙Omniverse，這些產(chǎn)品里，哪個(gè)讓你最激動(dòng)？