這兩天hugging face的榜單出現(xiàn)了一個異數(shù)。一個名為Falcon 40B的模型，突然成為了hugging face“開源”大模型排行榜的*名。

這一成績直接將一眾大咖加持的開源的模型踩在腳下，包括但不限于扎克伯格同學(xué)旗下的LLaMA、新晉明星獨角獸Stability AI等公司。其中，LLaMA的模型規(guī)模甚至更大，達到了65B——比Falcon-40B大出了50%。

按照國際通用慣例，網(wǎng)友們少不了又要拉踩一把扎克伯格。

Hugging Face過去一直被認(rèn)為是大模型領(lǐng)域GitHub，在人類大模型的開源事業(yè)的道路上不遺余力，被一些觀察者認(rèn)為是OpenAI*潛在挑戰(zhàn)能力的平臺。因此Hugging Face的榜單，被從業(yè)者給予了很高的參考價值。

按照Hugging Face方面表示，其整個榜單使用Eleuther AI Harness的評估框架，被分成四個標(biāo)準(zhǔn)：

25個小樣本的推理邏輯測試（ARC：AI2 Reasoning Challenge）、10個樣本的嘗試推理測試（HellaSwag）、5個樣本的多任務(wù)準(zhǔn)確性測試（MMLU）以及誠實測試（TruthfulQA）

而在全部四項打分中，如圖一所示，除了誠實測試表現(xiàn)相對一般外，其他三項都大幅*對手。而在新推出的instruct版本中，誠實性能力也跟上來了。

Falcon備受外界關(guān)注，原因主要有幾點。

一方面，如果僅以這個榜單數(shù)據(jù)來看，F(xiàn)alcon相比于友商的提升幅度很大。LLaMA-65B之后的排序的分差往往在0.3分以內(nèi)，但Falcon-instruct直接提升了3.4分。

另一方面，F(xiàn)alcon與馬斯克的火箭重名，但其實是目前為數(shù)不多的非西方國家實驗室開發(fā)的開源大模型產(chǎn)品。Falcon背后的研發(fā)方來自阿聯(lián)酋的阿布扎比技術(shù)創(chuàng)新研究所（TII），這也是中東*世界*的大模型產(chǎn)品。

TII的背后則是阿布扎比先進技術(shù)研究委員會(ATRC)，因此是阿聯(lián)酋政府官方扶持技術(shù)創(chuàng)新項目。

而根據(jù)阿聯(lián)酋通訊社的報道，F(xiàn)alcon-45B使用了1萬億個token進行訓(xùn)練，可以用更少的訓(xùn)練計算能力實現(xiàn)更優(yōu)的效果，其僅相當(dāng)于OpenAI GPT-3訓(xùn)練計算的75%，DeepMind Chinchilla人工智能的40%，谷歌PaLM-62B訓(xùn)練計算的80%。

阿聯(lián)酋通訊社進一步表示，作為開源的大模型工具，F(xiàn)alcon-45B的出現(xiàn)：

“強化了阿聯(lián)酋作為全球AI*的角色”。

目前來說，F(xiàn)alcon-40B雖然是開源大模型的*名，但是和“不Open”的OpenAI相比，還有相當(dāng)大的差距。而在越來越公司對開源保持謹(jǐn)慎態(tài)度的情況下，F(xiàn)alcon獲得“開源大模型*”其實也算是“撿了個漏”。

不過很快有從業(yè)者發(fā)推特質(zhì)疑Hugging Face的評價體系。

有Inflection AI員工發(fā)推認(rèn)為Hugging Face得出的數(shù)據(jù)與論文的評分有一定的差異。在這條質(zhì)疑下面，前特斯拉AI負(fù)責(zé)人、OpenAI元老級人物（founding member）Andrej Karpathy跟進評論：

“這就是我目前避免評論falcon的原因”。

Andrej Karpathy曾經(jīng)是李飛飛的高徒、全球*的AI科學(xué)家，對OpenAI的發(fā)展起到了很大的作用，也一手推動了特斯拉自動駕駛項目的發(fā)展，可以說是特斯拉autopilot之父。

當(dāng)他對hugging face的標(biāo)準(zhǔn)提出質(zhì)疑時，這并不能被認(rèn)為是一個輕飄飄的指控。

果然hugging face聯(lián)合創(chuàng)始人Thomas Wolf聞風(fēng)而至，對同行進行了友善的科普，表示他們的使用的評價工具的準(zhǔn)確性是可靠的。

這其中詭異的點在于，hugging face的榜單不是一天發(fā)出的，Eleuther AI Harness也是一個主流的評價體系。但當(dāng)Falcon沖榜后，卻出現(xiàn)了兩位對評價體系“不理解”、“不確定”的“外賓”。

看來硅谷還不是很適應(yīng)來自中東的神秘科技力量，對這種“新鮮事物”條件反射地用審視的眼光去打量。

不過，F(xiàn)alcon-40B*的爭議或許不是來自于能力，而是來自于其對“開源”事業(yè)的“誠心”。

因為Falcon對商業(yè)化開源留了一個“后手”，雖然使用者原則上免費，但如果收入超過100萬美金，依然需要繳納10%的授權(quán)費用。

但由于falcon的許可證其實部分基于 Apache License Version 2.0。后者來自 Apache 基金會，對商業(yè)開源是友好的。那如果falcon拿著免費開源的許可協(xié)議，未來依然會收取一定的商業(yè)化費用，這似乎依然算不上真的“開源”。

大模型確實很燒錢，即便貴如中東土豪，也不希望徹底的開源。

而根據(jù)TII方面的消息，阿聯(lián)酋方面預(yù)計將很快發(fā)布新的Falcon-108B的千億級大模型。

無論是開源和閉源、西方和東方、科技投資和石油資本，屆時圍繞大模型的科技競爭可能會變得更有意思。