4月2日，APUS與戰(zhàn)略合作伙伴新旦智能聯(lián)合訓(xùn)練、研發(fā)的千億MoE（Mixture of Experts）架構(gòu)大模型，在GitHub上正式開源。從適配低端算力芯片實(shí)現(xiàn)行業(yè)普惠，到國(guó)內(nèi)*開源的千億參數(shù)MoE架構(gòu)大模型模型提質(zhì)增效，APUS-xDAN 大模型4.0（MoE）的應(yīng)用之風(fēng)有望來(lái)襲。

相比國(guó)內(nèi)其他大模型公司，此次與APUS聯(lián)合開源大模型的新旦智能略顯年輕，但創(chuàng)始團(tuán)隊(duì)陣容卻頗為豪華：這是一支由清華、伯克利、騰訊、meta等*學(xué)術(shù)與工程界精英組成的團(tuán)隊(duì)，成員包括全球*的開源AI社區(qū)知名開發(fā)者、資深騰訊云架構(gòu)師等，并已于今年3月初，完成了千萬(wàn)級(jí)別的天使輪融資，由APUS與AI行業(yè)資深投資人周弘揚(yáng)聯(lián)合投資。

此次雙方強(qiáng)強(qiáng)聯(lián)合，集成各方優(yōu)勢(shì)，讓APUS-xDAN 大模型4.0（MoE）在4090之類的低端算力芯片上，綜合性能達(dá)到了GPT-4 的90%。這一突破，將為中國(guó)企業(yè)應(yīng)用大模型技術(shù)提供更大價(jià)值，進(jìn)一步通過算法優(yōu)化成功破解“算力卡脖子”的難題。

適配低端算力芯片，開啟技術(shù)普惠新時(shí)代

面對(duì)國(guó)內(nèi)算力資源局限與國(guó)際技術(shù)封鎖，APUS董事長(zhǎng)兼CEO李濤談到：“中國(guó)要想跳出由美牽頭設(shè)計(jì)的‘算力陷阱’，一方面就要從算法上進(jìn)化，能用低端算力來(lái)做高端模型；另一方面則是持續(xù)推動(dòng)應(yīng)用生態(tài)的進(jìn)化，只有堅(jiān)持雙向進(jìn)化，才有可能實(shí)現(xiàn)破局。”

而此次開源的，APUS-xDAN 大模型4.0（MoE）就是集合數(shù)據(jù)、工程和芯片4090上順暢運(yùn)行的千億參數(shù)規(guī)模大模型，APUS-xDAN 大模型4.0（MoE）進(jìn)一步破局美半導(dǎo)體出口管制，成功助力中國(guó)AI產(chǎn)業(yè)在模型應(yīng)用上實(shí)現(xiàn)普惠。

經(jīng)實(shí)際測(cè)試顯示，APUS-xDAN 大模型4.0（MoE）從技術(shù)指標(biāo)上來(lái)看，模型數(shù)學(xué)能力的GSM8K達(dá)到79分，理解能力的MMLU達(dá)到73分，推理能力的BBH達(dá)到了66分，綜合性能超過GPT3.5，逼近GPT4，在數(shù)學(xué)能力上更是碾壓馬斯克開源的Grok。

對(duì)政府而言，APUS-xDAN 大模型4.0（MoE）的誕生意味著在有限的國(guó)產(chǎn)算力資源下，我國(guó)依然能自主構(gòu)建并運(yùn)行*超大規(guī)模語(yǔ)言模型，大幅提升國(guó)家層面的技術(shù)自給自足能力與戰(zhàn)略安全。

對(duì)企業(yè)和個(gè)人開發(fā)者，尤其是資金有限的小創(chuàng)業(yè)者，無(wú)需斥巨資購(gòu)置高端GPU，如A100和H100，僅需借助相對(duì)經(jīng)濟(jì)的4090，即可駕馭這款強(qiáng)大的AI工具，極大地降低了創(chuàng)新門檻，實(shí)現(xiàn)AI技術(shù)的普及與廣泛應(yīng)用。

國(guó)內(nèi)千億MoE架構(gòu)模型開源，重塑效能邊界

不難發(fā)現(xiàn)，此次開源的APUS-xDAN 大模型4.0率先引入MoE（Mixture of Experts）架構(gòu)，成為國(guó)內(nèi)*開源的千億參數(shù)MoE架構(gòu)大模型。相較于其他宣稱擁有MoE架構(gòu)但未開源驗(yàn)證的模型，APUS-xDAN 大模型4.0（MoE）真正將MoE架構(gòu)應(yīng)用于超大規(guī)模模型。

值得一提的是，APUS-xDAN 大模型4.0（MoE）采用GPT4類似的MoE架構(gòu)，特點(diǎn)是多專家模型組合，同時(shí)激活使用只有2個(gè)子模塊，實(shí)際運(yùn)行效率對(duì)比傳統(tǒng)Dense同尺寸模型效率提升200%，推理成本下降400%。在實(shí)際部署上，通過進(jìn)一步的高精度微調(diào)量化技術(shù)，模型尺寸縮小500%，從而擁有了國(guó)內(nèi)*可以在消費(fèi)級(jí)顯卡運(yùn)行的千億MoE中英文大模型。

這些特性賦予APUS-xDAN 大模型4.0（MoE）在處理復(fù)雜任務(wù)時(shí)，擁有*的學(xué)習(xí)效率與模型容量，為人工智能的邊界拓展注入澎湃動(dòng)力，為中國(guó)AI產(chǎn)業(yè)開拓了全新破局路線，成為國(guó)產(chǎn)大模型創(chuàng)新探索的先行軍。

此次，APUS-xDAN 大模型4.0（MoE）以令人矚目的1360億參數(shù)規(guī)模，一舉超越當(dāng)前國(guó)內(nèi)*開源模型——阿里的千問72B（720億參數(shù)），綜合性能達(dá)到主流大模型TOP級(jí)。這一歷史性突破，不僅見證了我國(guó)在超大規(guī)模預(yù)訓(xùn)練模型研發(fā)領(lǐng)域的重大飛躍，更有力彰顯了我國(guó)人工智能科研實(shí)力與技術(shù)創(chuàng)新力的國(guó)際地位。

構(gòu)建AI產(chǎn)業(yè)應(yīng)用生態(tài)，賦能千行萬(wàn)業(yè)

“AI的發(fā)展與應(yīng)用，離不開大模型的支撐。而開源大模型的出現(xiàn)，則讓更多的企業(yè)和開發(fā)者能夠利用這些模型，來(lái)構(gòu)建更多人工智能+應(yīng)用?！崩顫硎?，此次，APUS-xDAN 大模型4.0（MoE）的開源，一定程度上填補(bǔ)了我國(guó)在千億級(jí)別參數(shù)模型開源上的空白，也為人工智能技術(shù)的發(fā)展與應(yīng)用帶來(lái)了更多的可能性。

自2014年創(chuàng)立以來(lái)，APUS至今已推出200余款應(yīng)用產(chǎn)品，涵蓋工具、內(nèi)容與服務(wù)等多個(gè)場(chǎng)景。APUS轉(zhuǎn)型人工智能后，重構(gòu)自身原生產(chǎn)品矩陣，以工具+AI，內(nèi)容+AI，服務(wù)+AI三層應(yīng)用為全線產(chǎn)品賦能，探索孵化用戶端超級(jí)應(yīng)用。

在行業(yè)應(yīng)用場(chǎng)景上，從應(yīng)用在G端網(wǎng)信領(lǐng)域能實(shí)現(xiàn)智能辟謠的「APUS智信大模型」，到加持B端醫(yī)院智能診療的「APUS岐黃大模型」、智能電商營(yíng)銷的「APUS少伯大模型」，到C端擁有智能繪畫能力的「APUS墨染大模型」、中文創(chuàng)作領(lǐng)域擁有AI寫手能力的「APUS云夢(mèng)大模型」，以及實(shí)現(xiàn)文生視頻能力的「APUS墨視大模型」……APUS正加速實(shí)現(xiàn)大模型普惠，讓AI應(yīng)用更簡(jiǎn)單。

在APUS AI開放實(shí)驗(yàn)室，開發(fā)者可通過API接口，快速部署自己的創(chuàng)想應(yīng)用。如今，該AI開放實(shí)驗(yàn)室匯聚了來(lái)自全球的*AI人才，通過APUS的算力支持，共同開源、開放最新的AI大模型，進(jìn)而推動(dòng)AI產(chǎn)業(yè)健康發(fā)展。

據(jù)悉，此次開源的APUS-xDAN 大模型4.0（MoE）也是APUS繼與深圳大學(xué)國(guó)家工程實(shí)驗(yàn)室聯(lián)合開源APUS大模型3.0（伶荔）后，帶來(lái)的又一個(gè)重磅大模型，標(biāo)志著APUS在AI通用大模型的布局上更進(jìn)一階。

未來(lái)，面對(duì)人工智能產(chǎn)業(yè)的發(fā)展與挑戰(zhàn)，APUS將通過持續(xù)的技術(shù)研發(fā)與社區(qū)共建，積極探索解決方案，不斷提升開源大模型的穩(wěn)定性和泛化能力，確保其在各類復(fù)雜應(yīng)用場(chǎng)景中始終保持*優(yōu)勢(shì)，進(jìn)一步賦能千行萬(wàn)業(yè)。