4月2日，APUS與戰(zhàn)略合作伙伴新旦智能聯(lián)合訓練、研發(fā)的千億MoE（Mixture of Experts）架構(gòu)大模型，在GitHub上正式開源。從適配低端算力芯片實現(xiàn)行業(yè)普惠，到國內(nèi)*開源的千億參數(shù)MoE架構(gòu)大模型模型提質(zhì)增效，APUS-xDAN 大模型4.0（MoE）的應用之風有望來襲。

相比國內(nèi)其他大模型公司，此次與APUS聯(lián)合開源大模型的新旦智能略顯年輕，但創(chuàng)始團隊陣容卻頗為豪華：這是一支由清華、伯克利、騰訊、meta等*學術(shù)與工程界精英組成的團隊，成員包括全球*的開源AI社區(qū)知名開發(fā)者、資深騰訊云架構(gòu)師等，并已于今年3月初，完成了千萬級別的天使輪融資，由APUS與AI行業(yè)資深投資人周弘揚聯(lián)合投資。

此次雙方強強聯(lián)合，集成各方優(yōu)勢，讓APUS-xDAN 大模型4.0（MoE）在4090之類的低端算力芯片上，綜合性能達到了GPT-4 的90%。這一突破，將為中國企業(yè)應用大模型技術(shù)提供更大價值，進一步通過算法優(yōu)化成功破解“算力卡脖子”的難題。

適配低端算力芯片，開啟技術(shù)普惠新時代

面對國內(nèi)算力資源局限與國際技術(shù)封鎖，APUS董事長兼CEO李濤談到：“中國要想跳出由美牽頭設(shè)計的‘算力陷阱’，一方面就要從算法上進化，能用低端算力來做高端模型；另一方面則是持續(xù)推動應用生態(tài)的進化，只有堅持雙向進化，才有可能實現(xiàn)破局?！?/p>

而此次開源的，APUS-xDAN 大模型4.0（MoE）就是集合數(shù)據(jù)、工程和芯片4090上順暢運行的千億參數(shù)規(guī)模大模型，APUS-xDAN 大模型4.0（MoE）進一步破局美半導體出口管制，成功助力中國AI產(chǎn)業(yè)在模型應用上實現(xiàn)普惠。

經(jīng)實際測試顯示，APUS-xDAN 大模型4.0（MoE）從技術(shù)指標上來看，模型數(shù)學能力的GSM8K達到79分，理解能力的MMLU達到73分，推理能力的BBH達到了66分，綜合性能超過GPT3.5，逼近GPT4，在數(shù)學能力上更是碾壓馬斯克開源的Grok。

對政府而言，APUS-xDAN 大模型4.0（MoE）的誕生意味著在有限的國產(chǎn)算力資源下，我國依然能自主構(gòu)建并運行*超大規(guī)模語言模型，大幅提升國家層面的技術(shù)自給自足能力與戰(zhàn)略安全。

對企業(yè)和個人開發(fā)者，尤其是資金有限的小創(chuàng)業(yè)者，無需斥巨資購置高端GPU，如A100和H100，僅需借助相對經(jīng)濟的4090，即可駕馭這款強大的AI工具，極大地降低了創(chuàng)新門檻，實現(xiàn)AI技術(shù)的普及與廣泛應用。

國內(nèi)千億MoE架構(gòu)模型開源，重塑效能邊界

不難發(fā)現(xiàn)，此次開源的APUS-xDAN 大模型4.0率先引入MoE（Mixture of Experts）架構(gòu)，成為國內(nèi)*開源的千億參數(shù)MoE架構(gòu)大模型。相較于其他宣稱擁有MoE架構(gòu)但未開源驗證的模型，APUS-xDAN 大模型4.0（MoE）真正將MoE架構(gòu)應用于超大規(guī)模模型。

值得一提的是，APUS-xDAN 大模型4.0（MoE）采用GPT4類似的MoE架構(gòu)，特點是多專家模型組合，同時激活使用只有2個子模塊，實際運行效率對比傳統(tǒng)Dense同尺寸模型效率提升200%，推理成本下降400%。在實際部署上，通過進一步的高精度微調(diào)量化技術(shù)，模型尺寸縮小500%，從而擁有了國內(nèi)*可以在消費級顯卡運行的千億MoE中英文大模型。

這些特性賦予APUS-xDAN 大模型4.0（MoE）在處理復雜任務時，擁有*的學習效率與模型容量，為人工智能的邊界拓展注入澎湃動力，為中國AI產(chǎn)業(yè)開拓了全新破局路線，成為國產(chǎn)大模型創(chuàng)新探索的先行軍。

此次，APUS-xDAN 大模型4.0（MoE）以令人矚目的1360億參數(shù)規(guī)模，一舉超越當前國內(nèi)*開源模型——阿里的千問72B（720億參數(shù)），綜合性能達到主流大模型TOP級。這一歷史性突破，不僅見證了我國在超大規(guī)模預訓練模型研發(fā)領(lǐng)域的重大飛躍，更有力彰顯了我國人工智能科研實力與技術(shù)創(chuàng)新力的國際地位。

構(gòu)建AI產(chǎn)業(yè)應用生態(tài)，賦能千行萬業(yè)

“AI的發(fā)展與應用，離不開大模型的支撐。而開源大模型的出現(xiàn)，則讓更多的企業(yè)和開發(fā)者能夠利用這些模型，來構(gòu)建更多人工智能+應用?！崩顫硎?，此次，APUS-xDAN 大模型4.0（MoE）的開源，一定程度上填補了我國在千億級別參數(shù)模型開源上的空白，也為人工智能技術(shù)的發(fā)展與應用帶來了更多的可能性。

自2014年創(chuàng)立以來，APUS至今已推出200余款應用產(chǎn)品，涵蓋工具、內(nèi)容與服務等多個場景。APUS轉(zhuǎn)型人工智能后，重構(gòu)自身原生產(chǎn)品矩陣，以工具+AI，內(nèi)容+AI，服務+AI三層應用為全線產(chǎn)品賦能，探索孵化用戶端超級應用。

在行業(yè)應用場景上，從應用在G端網(wǎng)信領(lǐng)域能實現(xiàn)智能辟謠的「APUS智信大模型」，到加持B端醫(yī)院智能診療的「APUS岐黃大模型」、智能電商營銷的「APUS少伯大模型」，到C端擁有智能繪畫能力的「APUS墨染大模型」、中文創(chuàng)作領(lǐng)域擁有AI寫手能力的「APUS云夢大模型」，以及實現(xiàn)文生視頻能力的「APUS墨視大模型」……APUS正加速實現(xiàn)大模型普惠，讓AI應用更簡單。

在APUS AI開放實驗室，開發(fā)者可通過API接口，快速部署自己的創(chuàng)想應用。如今，該AI開放實驗室匯聚了來自全球的*AI人才，通過APUS的算力支持，共同開源、開放最新的AI大模型，進而推動AI產(chǎn)業(yè)健康發(fā)展。

據(jù)悉，此次開源的APUS-xDAN 大模型4.0（MoE）也是APUS繼與深圳大學國家工程實驗室聯(lián)合開源APUS大模型3.0（伶荔）后，帶來的又一個重磅大模型，標志著APUS在AI通用大模型的布局上更進一階。

未來，面對人工智能產(chǎn)業(yè)的發(fā)展與挑戰(zhàn)，APUS將通過持續(xù)的技術(shù)研發(fā)與社區(qū)共建，積極探索解決方案，不斷提升開源大模型的穩(wěn)定性和泛化能力，確保其在各類復雜應用場景中始終保持*優(yōu)勢，進一步賦能千行萬業(yè)。