肥臀巨乳熟女网站|免费亚洲丁香|性爱超碰在线播放|丁香五月欧美成人|精产国品免费jiure99|熟女伦网导航|草草视频在线直播免费观看|外网毛片9999|约干AV一区二区|亚洲激情黄色视屏

當(dāng)前位置: 首頁 ? 資訊 ? 熱點 ? 正文

GPU荒漠,算力短缺背后的時間競賽與解決方案

作者:Koko 來源: 億歐網(wǎng) 303008/27

“今年以來,A800整機已經(jīng)從80-90萬元,漲到超過了140萬元?!薄懊刻於加行驴蛻魜碓儍r。”“貨一到,3天內(nèi)就沒了?!薄岸镭溩诱f有貨信不得,因為你既無法驗證他的產(chǎn)品是不是舊卡重拆,又不知道他的質(zhì)保能力。”……多位服務(wù)器經(jīng)銷商銷售人員告

標(biāo)簽: 算力 大模型 AI

“今年以來,A800整機已經(jīng)從80-90萬元,漲到超過了140萬元?!?/p>

“每天都有新客戶來詢價?!?/p>

“貨一到,3天內(nèi)就沒了?!?/p>

“二道販子說有貨信不得,因為你既無法驗證他的產(chǎn)品是不是舊卡重拆,又不知道他的質(zhì)保能力?!?/p>

……

多位服務(wù)器經(jīng)銷商銷售人員告訴億歐TE智庫(TEinstitute),現(xiàn)在算力處于供不應(yīng)求中。

當(dāng)前,國內(nèi)AI算力的主要買方分為3類:

一是做大模型研發(fā)和應(yīng)用的科技公司,包括百度、騰訊、阿里、字節(jié)等互聯(lián)網(wǎng)大廠和MiniMax、智譜華章等初創(chuàng)企業(yè);

二是打造智算中心、AI云的各地國央企;

三是落地大模型能力和應(yīng)用的各行業(yè)頭部企業(yè)。

今年初,ChatGPT的爆紅正式讓AIGC置于新一代技術(shù)革命風(fēng)暴的中心。為煉ChatGPT提供燃料的英偉達,最早嗅到變革的氣息,其CEO黃仁勛2月初就在加州大學(xué)伯克利分校哈斯商學(xué)院的演講中明確指出,ChatGPT相當(dāng)于AI界的iPhone問世。

回到2007年1月9日,喬布斯在舊金山舉辦的Macworld大會上正式發(fā)布iPhone。

多年后回望這一刻,它蘊含了太多歷史時刻的開端——移動智能終端普及、社交媒體崛起、數(shù)字內(nèi)容產(chǎn)業(yè)擴張、移動應(yīng)用生態(tài)繁榮、網(wǎng)絡(luò)通信技術(shù)加速迭代……

很難簡單概括iphone問世代表了什么,因為它在技術(shù)更新、社會生活和經(jīng)濟發(fā)展等各方面都具有強大的影響力。

這也說明了黃仁勛對AI 2.0時代巨大的期翼——AIGC或?qū)⒃俅沃厮苋祟惖纳罘绞健?/p>

而這巨大期翼的另一面,是新生事物發(fā)展早期必定經(jīng)過一段萌芽期。

美國學(xué)者埃弗里特·M·羅杰斯在1962年提出創(chuàng)新的擴散理論,還原了一項新觀念/事物/技術(shù)引入社會體系時的演變過程:創(chuàng)新者-早期接受者-早期的大多數(shù)-晚期的大多數(shù)-滯后者。

羅杰斯創(chuàng)新的傳播模型:隨著大量新的消費者采納新技術(shù)(藍色),其市場份額(黃色)最終將達到飽和水平。藍色曲線按采納者的接受能力分段(來源:wiki百科)

當(dāng)前,AIGC的發(fā)展正處于創(chuàng)新者和早期接受者之間,距離市場完全爆發(fā)還需要穿越早期接受者到早期大多數(shù)的一段隧道。

當(dāng)前市場對AI算力的哄搶,正是因為算力作為AIGC時代的燃料,是支撐產(chǎn)業(yè)發(fā)展的基建,也是助推市場爆發(fā)的重要因素。

為了實現(xiàn)算力可用、可承擔(dān),科技公司、政府都在行動中。但在AIGC產(chǎn)業(yè)中,觸發(fā)市場爆發(fā)的角色,一定是滿足用戶需求的產(chǎn)業(yè)應(yīng)用。

算力和應(yīng)用兩者的重要性,就像iphone手機發(fā)布次年,蘋果發(fā)布的iphone 3G和APP Store。

前者為用戶提供更快速的互聯(lián)網(wǎng)連接。后者允許開發(fā)者上傳應(yīng)用程序供用戶下載,打造了豐富的應(yīng)用生態(tài),也讓優(yōu)質(zhì)的應(yīng)用產(chǎn)品反哺蘋果手機銷售。

其中一個典型案例是,2009年底“憤怒的小鳥”上線APP Store并在全球風(fēng)靡。這不光讓人們注意到蘋果手機作為游戲平臺的潛力,還讓很多不常玩游戲的人沉迷于此。

最后更多消費者、開發(fā)者都注意到蘋果應(yīng)用生態(tài)并參與其中,更多好的應(yīng)用產(chǎn)品誕生并得到普及,如此良性循環(huán)。

億歐TE智庫(TEinstitute)認(rèn)為,如果ChatGPT代表著AI的iphone時刻,那么現(xiàn)在市場還需要更多“憤怒的小鳥”來完成市場落地和普及。

而現(xiàn)在市場上對算力的聚焦,背后也是應(yīng)用的蓄勢待發(fā)。

01、算力緊張,背后有應(yīng)用的時間賽

2023年8月中旬,億歐TE智庫對國內(nèi)數(shù)家提供AI算力的服務(wù)器代理商進行了詢價:

國內(nèi)大量用于訓(xùn)練大模型的GPU是訓(xùn)練ChatGPT的A100的低配版——A800,單卡現(xiàn)貨價格在12萬元以上。

以《金融時報》8月初的報道,中國互聯(lián)網(wǎng)巨頭今年向英偉達下單10億美元,采購約10萬張A800芯片計算,A800的出廠價格約1萬美元,當(dāng)前的市場價漲幅超67%(匯率按1:7.2計算)。

有經(jīng)銷商銷售人員告訴億歐TE智庫,現(xiàn)在一些有貨源的廠商不會直接賣單卡,而是組裝成8卡的PCIe整機,以更高的價格出售。

A800 NVlink 8卡整機的現(xiàn)貨價格則在140萬元以上。口頭約定到貨時間的期貨產(chǎn)品,價格能便宜約二十萬元。

英偉達在2023年新發(fā)布、性能優(yōu)于A100 2-3倍的H100,也在國內(nèi)有低配版上市——H800。目前H800整機的期貨價格均在200萬元以上。

GPU作為提供AI算力的核心,價格大漲的根本原因是現(xiàn)在市場供不應(yīng)求,而被市場普遍認(rèn)可的供給方只有英偉達一家。

離開英偉達有什么后果?企業(yè)得承受更低的性能、不低的能耗費用和更長的產(chǎn)品研發(fā)周期。

其中縮短產(chǎn)品研發(fā)周期,盡早上市產(chǎn)品,重新定義垂直場景的應(yīng)用,對各行業(yè)落地大模型的企業(yè)尤為重要。

這從當(dāng)前現(xiàn)貨產(chǎn)品尤其搶手,現(xiàn)貨整機價格可高出期貨20萬元以上可見一斑。

一位服務(wù)器經(jīng)銷商的銷售人員告訴億歐TE智庫,只要是把自己需求整明白了的企業(yè)客戶,下單都很痛快。一些等不及的企業(yè)還會選擇租用云廠商的AI算力,通過同時租用多臺服務(wù)器縮短產(chǎn)品的研發(fā)時間,或者在期貨交付前先在云上跑起來。

“主要在搶時間,現(xiàn)在能入局的都是行業(yè)頭部企業(yè),有錢、有資源、有數(shù)據(jù)才能做產(chǎn)品?!?/strong>

供給不足的現(xiàn)象不光存在國內(nèi),谷歌、亞馬遜和微軟等云計算服務(wù)商都在面臨GPU缺貨。馬斯克還開玩笑說,搞企業(yè)級GPU比買“藥”還難。

為什么英偉達不能通過加碼生產(chǎn)端滿足市場需求?

英偉達的一位高管表示,英偉達正在開足馬力生產(chǎn)GPU,但GPU的產(chǎn)能最主要受到供應(yīng)鏈的限制。

首先,芯片組件的生產(chǎn)依賴世界范圍內(nèi)的供應(yīng)商,其中一些組件不乏需要采購稀缺的原材料與高難度的加工。如果英偉達供應(yīng)商沒有在更早意識到GPU需求的爆發(fā),在囤貨和生產(chǎn)上就不可避免的滯后。

其次,目前英偉達所有的5nm GPU都只與臺積電合作,而臺積電只有4個為5nm芯片提供產(chǎn)能的生產(chǎn)節(jié)點,其中又只有2個增強型節(jié)點滿足H100的制程,這還需要英偉達與蘋果、高通和AMD共享產(chǎn)能,因為臺積電晶圓廠需要提前12個月對各客戶的產(chǎn)能搭配做出規(guī)劃。

對此,多位服務(wù)器代理的銷售人員告訴億歐TE智庫,8月開始英偉達已不接受A800訂單,將產(chǎn)能集中給H800。

正是由于以上原因,部分市場參與者預(yù)見到今年GPU將面臨短缺,嗅到商機的中間商在上半年以接近原廠的“低價”囤貨,進一步讓市場上流通的產(chǎn)品更加稀缺,產(chǎn)品價格也更高了。

算力市場短期內(nèi)離不開英偉達高性能的GPU,大廠也只能積極訂貨等待明年交付。

《金融時報》稱,百度、騰訊、阿里巴巴以及字節(jié)跳動今年還向英偉達下單價值40億美元明年交付的AI芯片。

盡管大量參與者已經(jīng)相信了“AIGC可以把全部產(chǎn)品重做一遍”,現(xiàn)階段卻不得不擁堵在狹窄的算力管道里。

02、算力解法在路上,生態(tài)抱團或是答案

在這樣的背景下,被華爾街譽為“AI大戰(zhàn)中*的軍火商”——英偉達成為了獨一份的香餑餑。今年以來,英偉達市值已多次創(chuàng)歷史新高,并躋身萬億美元俱樂部。

老黃成為最意氣風(fēng)發(fā)的人,在8月的SIGGRAPH 2023上,他發(fā)布了英偉達最新的產(chǎn)品,并再次對公眾說出那句名言“The more you buy, the more you save”。

然而,現(xiàn)階段英偉達GPU芯片供給不足,并不能真正滿足客戶“buy more”的需求。這也給眼饞英偉達獨占AI算力市場的競爭對手留下縫隙。

競爭對手們紛紛起立,向市場交出解決方案。而這或許將加快算力瓶頸的消除。

站在*梯隊的是老牌芯片巨頭。

2023年6月,AMD發(fā)布AI芯片Instinct MI 300X,對標(biāo)英偉達H100。MI 300X HBM(高帶寬存儲器)容量及顯存帶寬分別是英偉達H100的2.4倍及1.6倍,由于HBM容量大幅提升,單顆MI 300X芯片就可以運行800億參數(shù)的模型。

而在前一年的6月,AMD發(fā)布的該系列首代產(chǎn)品Instinct MI 300A,采用的是CPU+GPU架構(gòu),對標(biāo)英偉達的GH200。

不過AMD的這兩款MI 300芯片距離實際應(yīng)用或還需要一定時間,兩者現(xiàn)在還處于給客戶送樣階段。

英特爾同樣不甘示弱。

為了搶占國內(nèi)AI算力市場,2023年7月英特爾在北京召開發(fā)布會,為其高性能AI芯片Gaudi 2推出中國“*版”。Gaudi 2是英特爾在2022年5月首次公布的一款A(yù)SIC(專用集成電路)芯片。

英特爾執(zhí)行副總裁Sandra Rivera稱,以AI開源模型供應(yīng)商Hugging Face的性能結(jié)果為例,Gaudi 2在多種訓(xùn)練和推理基準(zhǔn)測試中,表現(xiàn)超過了英偉達A100的性能;在各種*進的模型上,Gaudi 2的性價比是A100的2倍左右。

此外,英特爾人工智能架構(gòu)師趙玉萍在8月舉辦的百度飛槳開發(fā)者大會上稱,在100-200億參數(shù)規(guī)模的大模型上,通過優(yōu)化架構(gòu)和軟硬件協(xié)同,英特爾CPU也能取得很好效果.

另一個動作頻頻的芯片巨頭是手機芯片廠商高通。

2023年7月,meta發(fā)布最新一代開源免費可商用大語言模型Llama 2,并宣布Llama 2將能夠在高通芯片上運行。

高通相關(guān)人員表示,云端并非AIGC全部圖景,看好AIGC在手機、電腦、物聯(lián)網(wǎng)等“端側(cè)”的機會。

這種大模型+芯片廠商的聯(lián)姻,和上一輪互聯(lián)網(wǎng)時代微軟與英特爾結(jié)成的Wintel聯(lián)盟異曲同工。

對此,上海交通大學(xué)計算機科學(xué)與工程系教授梁曉峣認(rèn)為,AI芯片廠商與大模型廠商要結(jié)成對子、形成產(chǎn)業(yè)聯(lián)盟,才能更快推動AIGC的發(fā)展落地。

“1.0的傳統(tǒng)時代,芯片廠商打包芯片和框架軟硬件一體研發(fā)。

2.0的深度學(xué)習(xí)時代,出現(xiàn)谷歌、meta等巨頭推出具有影響力的TensorFlow、PyTorch等框架,這一輪AI芯片創(chuàng)業(yè)公司的硬件產(chǎn)品需要適配巨頭推出的框架。

3.0的大模型時代,芯片廠商要適配的大模型有了數(shù)量級的增加,這時芯片廠商要想盡早落地量產(chǎn),必須提前圈定大模型伙伴,否則等到應(yīng)用的時候,雙方只會彼此嫌棄不好用。”

市場發(fā)展也明顯正沿著這條路徑。

8月中旬,科大訊飛聯(lián)合華為發(fā)布了幫助企業(yè)快速部署大模型的星火訓(xùn)推一體機。兩者的合作模式可能就是,華為提供國產(chǎn)芯片和服務(wù)器,并將其與訊飛的星火大模型適配。這一設(shè)備允許企業(yè)從頭訓(xùn)練大模型,也能基于訊飛星火大模型針對場景快速優(yōu)化。

科大訊飛董事長劉慶峰透露,該平臺單卡算力已經(jīng)開始對標(biāo)英偉達A100芯片。

華為是在今年迅速跟進大模型落地的大廠之一,其能力涵蓋底層芯片、AI框架,中層大模型和頂層應(yīng)用端。

其中,昇騰Atlas 300T訓(xùn)練卡和KunLun G8600分別對標(biāo)英偉達的芯片和服務(wù)器。昇思打造開源生態(tài),對標(biāo)海外主流AI框架。盤古大模型3.0,面向需求端提供基礎(chǔ)、行業(yè)和專用三類模型。

另一個以打造生態(tài)著稱的科技大廠是百度。百度已在芯片(昆侖芯)、框架(飛槳社區(qū))、模型(文心系列)、應(yīng)用(百度云合作伙伴)四層完成全棧布局。

目前,主打生態(tài)協(xié)同的飛槳社區(qū)已經(jīng)集成超200個大模型,大量AI芯片創(chuàng)新公司可在飛槳社區(qū)完成大模型與硬件的適配,用戶也可根據(jù)適配的芯片選擇大模型來進一步訓(xùn)練和推理。

而海外值得關(guān)注的造芯科技大廠,則是在本次大模型浪潮中心的微軟。

The Information報道,微軟正在研發(fā)5nm制程的芯片Athena。這款芯片的目標(biāo)就是替代昂貴的A100/H100,給OpenAI提供算力引擎。這也同樣符合芯片+大模型的組合模式。

可以預(yù)見,研發(fā)成功后Athena會通過微軟的Azure云服務(wù),來搶奪英偉達的蛋糕。

為了保障這項新業(yè)務(wù)取得理想效果,在科技巨頭裁員期間,微軟成立了Microsoft Silicon,由前英特爾執(zhí)行官Rani Borkar領(lǐng)導(dǎo),有員工近千名。彭博稱,微軟為此已投入約20億美元。

國內(nèi)外自研AI芯片的科技大廠在補充AI算力的第二梯隊,第三梯隊則是大量AI芯片創(chuàng)業(yè)公司。

國內(nèi)在2016年迎來了一波AI芯片創(chuàng)業(yè)潮,跑出了寒武紀(jì)、地平線、昆侖芯、燧原、天數(shù)智芯等明星企業(yè)。這些企業(yè)中的不少,也在積極融入以百度飛槳為代表的生態(tài)社區(qū)中,與框架、大模型廠商協(xié)同。

數(shù)據(jù)源:億歐數(shù)據(jù) 2023年數(shù)據(jù)截止7月底 制圖:億歐TE智庫 高佳欣

如今,在國產(chǎn)替代步步推進的背景下,他們將逐漸成為大模型廠商的優(yōu)先選擇。

億歐TE智庫進行算力詢價時,經(jīng)過追問后已經(jīng)能零星聽到有代理商提到昆侖芯和燧原的名字。

03、應(yīng)用或?qū)⒈l(fā)于2024年上半年

算力是大模型應(yīng)用爆發(fā)的前提之一,即便很多企業(yè)在技術(shù)探索階段,對算力的需求沒有那么大,但到了真正做產(chǎn)品級應(yīng)用時,還是需要算力作為底層支撐。

現(xiàn)在算力的獲取方式除了購置服務(wù)器搭機房做私有化部署外,如果企業(yè)的產(chǎn)品不涉及敏感信息,還可以向國內(nèi)擁有AI算力的云廠商租賃相關(guān)服務(wù)。

不過在硬件緊張的背景下,億歐TE智庫了解到,百度阿里騰訊等企業(yè)自煉大模型的AI算力雖然基本飽和,但冗余的可供市場交易的AI算力仍然緊張。

圖源:阿里云 地域為華為2(截圖于8月22日)

圖源:騰訊云 基礎(chǔ)設(shè)置為隨機可用區(qū)、GPU機型、GPU計算型GN0Xp型號(截圖于8月22日)

短期的算力緊缺,一定程度掩蓋了人工智能應(yīng)用程序的真正潛力。

到目前為止,除了年初就已經(jīng)讓用戶大為震撼過的產(chǎn)品ChatPGT、Midjourney、Stable Diffusion,以及圖生視頻應(yīng)用Gen 2外,年初到現(xiàn)在還缺少讓用戶同樣直呼“哇噻”的應(yīng)用。

不過值得補充的是,上半年ChatGPT發(fā)布的Copilot已經(jīng)成為開發(fā)者的福音,即便該應(yīng)用限制在工程師群體。而微軟宣布的Office Copilot讓全世界期待,雖然該應(yīng)用至今仍未公開上線。

國內(nèi)以2023年6月為分水嶺,廠商從發(fā)布大模型到開啟大模型ToB副本,深入千行百業(yè)落地?,F(xiàn)在各大模型廠商仍在與行業(yè)企業(yè)共創(chuàng)完善大模型階段。

ToC方面,2023年上半年百度、阿里、訊飛、MiniMax發(fā)布的大模型均可讓用戶申請測試。具體應(yīng)用上,WPS發(fā)布了智能辦公工具,允許安卓和windows系統(tǒng)用戶申請測試;網(wǎng)易有道發(fā)布了“子曰”大模型,并落地虛擬人口語教練等6個功能……

細數(shù)下來,當(dāng)前國內(nèi)普通人真正可用、可感知的大模型應(yīng)用還很寥寥。

算力緊缺消除、算力平價可能會在一定程度解決這個問題。那么接下來的問題是,這個時間點何時能來?以行業(yè)巨頭微軟的說法,2024年上半年或許是關(guān)鍵節(jié)點。

微軟旗下有云服務(wù)和OpenAI,是以真實業(yè)務(wù)在感知大模型和算力市場。在此前的2023財年報告電話會上,微軟CFO Amy Hood表示,人工智能服務(wù)收入預(yù)計到2024年上半年可以實現(xiàn)創(chuàng)收。

這至少說明,微軟認(rèn)為2024年市場對AI的需求還會激增,將有大量AI客戶冒出頭來。

從這個視角看,AIGC落地千行百業(yè)已經(jīng)不可逆轉(zhuǎn)。

億歐TE智庫此前發(fā)布的研報梳理了當(dāng)前AIGC商業(yè)落地產(chǎn)業(yè)圖譜,可以看到在數(shù)個細分場景和行業(yè),已有不少服務(wù)商涌現(xiàn)。

圖源:億歐TE智庫《企業(yè)AIGC商業(yè)落地應(yīng)用研究報告》

億歐TE智庫在做算力詢價時,有服務(wù)器代理商銷售人員明確指出,“各行各業(yè)的客戶都有”。

解決了算力問題,對企業(yè)來說最核心的就是產(chǎn)品打造和打磨了。

金山辦公產(chǎn)品總監(jiān)王中秋告訴億歐TE智庫,找到用戶需求和大模型能力結(jié)合的場景,是其團隊的關(guān)鍵任務(wù),在此基礎(chǔ)上打磨產(chǎn)品直到用戶體驗處于優(yōu)良,團隊才會對外發(fā)布。

不過,在大模型的產(chǎn)品形態(tài)上,億歐TE智庫觀察到,當(dāng)前的大模型應(yīng)用主要以網(wǎng)頁版呈現(xiàn),這并不符合當(dāng)代人的屏幕使用習(xí)慣。

此外,當(dāng)前許多大模型應(yīng)用是在現(xiàn)有產(chǎn)品的基礎(chǔ)上做AI能力的加法,類似ChatGPT、Midjourney等AI的原生應(yīng)用還有巨大的想象空間。

不過改變已經(jīng)在發(fā)生。年初高通就將Stable Diffusion部署在安卓手機上運行;7月底,安卓版ChatGPT正式上線,美國、印度、孟加拉國和巴西四國的安卓用戶,已經(jīng)可在谷歌Play商店下載應(yīng)用。

海外科研界和風(fēng)投界也在積極進行AI的原生應(yīng)用探索。本月,斯坦福Smallville項目在github開放源代碼庫,允許人們根據(jù)指引建立數(shù)字版的“西部世界”——人工智能體在其中生活并相互交流,而不知道自己生活在一個模擬環(huán)境中。有知名風(fēng)投機構(gòu)在一周內(nèi)投資團隊跟進了該項目,并復(fù)刻了一個人工智能小鎮(zhèn)。

免責(zé)聲明:本網(wǎng)轉(zhuǎn)載合作媒體、機構(gòu)或其他網(wǎng)站的公開信息,并不意味著贊同其觀點或證實其內(nèi)容的真實性,信息僅供參考,不作為交易和服務(wù)的根據(jù)。轉(zhuǎn)載文章版權(quán)歸原作者所有,如有侵權(quán)或其它問題請及時告之,本網(wǎng)將及時修改或刪除。凡以任何方式登錄本網(wǎng)站或直接、間接使用本網(wǎng)站資料者,視為自愿接受本網(wǎng)站聲明的約束。聯(lián)系電話 010-57193596,謝謝。

財中網(wǎng)合作