從學術界到企業(yè)界,思想者先行
去年,時代雜志公布了AI領域*影響力的100人。四大板塊中,入選年齡*的是76歲的杰夫·辛頓。
人工智能簡史在被神經網絡重塑之前,辛頓在符號主義大行其道的80年代,一頭扎進神經網絡默默耕耘。
符號主義基于規(guī)則,模仿的是人心,生成的是一個白盒系統,可解釋,可觸達,確定性更高,但神經網絡主張模仿人腦,生成的是一個黑盒系統。
可當時有一大難點,就是多層神經網絡中存在的隱藏層和計算量問題,在一開始就勸退了一大批精英,所以別說發(fā)展,在那個年代,神經網絡流派的生存都是問題。
但是,如果在辛頓的履歷里,找一件對AI貢獻*的事,并不是他讓神經網絡成功度過生存危機的誤差反向傳播算法,也不是他后來以受限玻爾茲曼機為基礎,進一步演化出來的深度信念網絡,而是他用了四十年的時間,堅持不懈,開創(chuàng)了一個新的分支:機器學習。也為后來所有的研究者,守著這扇通往新世界的大門。
2006年深度學習正式提出,辛頓已然著作等身,但關于AI究竟要走哪條路線的偏見,依然根深蒂固,多倫多大學計算機學系,當時就流傳著對新生的一句忠告:不要去辛頓的實驗室,那兒沒前途。
當然,這句話沒有勸退真正眼光毒辣的學生,比如伊利亞。
早在2003年,大家還對神經網絡流派嗤之以鼻的時候,本科二年級的伊利亞,就帶著驚人的直覺和更深入的研究,敲開了辛頓辦公室的大門,也代表著他對這一路線,早就深信不疑。
2004年,辛頓在輾轉多個大學工作后,終于在加拿大高等研究院拿到了50萬美元的經費,這可能是當時*還在支持神經網絡研究的機構。
50萬美元,對于科研來說確實有些微薄,但是卻足夠讓辛頓結束漂泊的訪學生涯,并安頓下來,召開了一場研討會。
當時辛頓的半個學生楊立昆,和另一位徒孫約書亞·本吉奧,也加入了他的隊伍。所以早在20年前的2003年,“深度學習三巨頭”(楊立昆、約書亞、辛頓),就已經坐上了同一張牌桌。
但是,只有算法上的創(chuàng)新還遠遠不夠,橫在三巨頭眼前難以逾越的還有兩座高山:算力和數據。
2012年,64歲的辛頓去谷歌做暑期實習生,這次入職,是應吳恩達邀請,接手谷歌貓項目。
如果只是識別一只普通的貓,傳統的計算機視覺自然不在話下,可是貓有可能長得千奇百怪。
雖然當時谷歌在動用了16000個CPU后,識別準確率已經高達74.8%,辛頓卻仍然認為:他們的神經網絡用錯了。
幾個月后,辛頓和自己的兩個學生:Ilya Sutskever、Alex Krizhevsky,帶著新算法AlexNet,以及兩塊英偉達GTX580顯卡,參加了計算機視覺領域最受關注的世界賽事,ImageNet,并以84%的識別準確率,拿下冠軍。也是這一年后,曾經只拿來玩游戲的GPU,憑借*的并行計算能力,來了個180度大翻身。
神來一筆的兩塊GPU,算力這座大山被鑿開了口子。那么數據問題又該如何解決?
實際上,這場圖像識別比賽(ImageNet)本身就是一塊高質量的數據試金石,比賽的主辦者,就是后來被稱為AI教母的李飛飛。早在2000年,她就意識到,卡住神經網絡脖子的,可能不在于算法的精度,而在于缺少大規(guī)模、高精度的數據。
于是,ImageNet數據集的構想產生了。
最開始她用WordNet中的名詞作為索引,來篩選和分類圖片,但只依靠本科生,這項任務大概90年后才能完成。
就在所有人都陷入僵局的時候,馬遜土耳其機器人這個網站步入研究者的視野,也沒用什么新鮮方法,亞馬遜找來十萬名“人類智能”,一招人海戰(zhàn)術,在短短兩年時間內,就標注了超過300萬張圖像。
2010年,*屆圖片識別大賽舉辦。2012年,數據庫里的圖片,就已經擴充到了1500萬張。
也是這一年,數據集的概念出現,逐漸成為未來所有人工智能的核心養(yǎng)料。
所以當李飛飛看到了辛頓的AlexNet獲獎,立刻就意識到,歷史即將改寫。她在頒獎當天,買了最后一班飛機票,親自趕到現場給辛頓團隊頒獎。
多年以來壓在深度學習身上的三座大山:算法、算力和數據,在這一年被集中解決,第三次人工智能浪潮也從沉淀中蘇醒,時刻準備爆發(fā)。
拿下大賽冠軍幾個月后,辛頓三人的“空殼公司”DNNresearch,也在四位買家(谷歌、DeepMind、微軟、百度)的角逐中,被谷歌以4400萬美元的價格收入囊中。
這次競拍也讓深度學習技術,逐漸走入資本視野,從學術界主導,正式進入企業(yè)主導的時代。
值得一提的是,參與競拍辛頓的四家公司中,還有一家小公司,DeepMind。當時的DeepMind自己都在四處籌錢,創(chuàng)始人哈薩比斯竟還想和大廠掰掰手腕,買下DNNresearch,可見他非同一般的眼光和野心。
但AI的吞金能力遠超大家想象,所有AI初創(chuàng)公司都面臨巨大的融資壓力,楊立昆當年關于這一點,沒有說錯。果然兩年后,DeepMind也被谷歌用6億美元拿下。后來的故事,大家也有所耳聞了。
2015年,谷歌DeepMind團隊推出了Alpha Go,第37手,漂亮的“神之一手”,也一舉成名。
但是,距離人工智能真正爆發(fā),還缺少一個關鍵契機。
2017年,一篇終結了CNN(卷積神經網絡)和RNN(循環(huán)神經網絡)的論文問世,(《Attention is all your need》https://arxiv.org/pdf/1706.03762),八位作者都來自谷歌。
回過頭來看,注意力機制,作為后來主導大語言模型的根基,被谷歌這家,全世界*的注意力商人發(fā)布,好像也在情理之中。
第二年,谷歌就發(fā)布了BERT模型。大模型的狂潮,也正式拉開了帷幕。
所以不難看出,2012年的那一次實習、一場比賽、一局競拍,讓深度學習走出學術界,正式進入商業(yè)市場里摸爬滾打。由于深度學習長期無人問津,領域里的*學者也屈指可數,
學術界就干脆以超級學者為核心,形成了幾大AI高校研究陣地。
這些稀缺的大佬同時化身*獵頭,帶著自己的學生,從實驗室,走進了AI領域的前沿公司。只不過,這一次他們不再是玩家,而是換了個身份,繼續(xù)這場游戲。
AI創(chuàng)業(yè)者,誰笑到最后?
新的牌局上,谷歌可以說開局就有*同花順的底氣,畢竟接連拿下辛頓團隊、DeepMind,
之后又連續(xù)發(fā)布Alpha Go、Transformer、BERT。手握最強AI資源的谷歌,是當時AI領域*的頭號玩家,很長一段時間,風頭無兩。
但為什么后來坐上了王位的,會是當時連一間像樣辦公室都沒有的Open AI呢?
谷歌輸在了哪兒?
谷歌作為一家號稱只招收精英的科技巨頭,成立了20多年,去年裁員后仍有18萬員工(Alphabet)。
不缺資金、不缺人,也不缺資源,但與之對應的,是精力分散、過分謹慎,以及團隊磨合的問題,船大難掉頭。
相比于Open AI產品的一目了然(Open AI官網),谷歌的產品開發(fā)可以用眼花繚亂來形容。這個網站上:https://killedbygoogle.com/ 記錄了被谷歌砍掉的295個項目(包含AI與非AI)。
谷歌一直在各種不同的技術路線上廣撒網,卻并沒有帶來與之對應的收獲。
技術開發(fā)什么最重要?選對路線,并持續(xù)加碼。這幾輪翻牌,在GPT模型上(BERT線)持續(xù)加碼的玩家,只有一個,就是Open AI。
谷歌后知后覺,在GPT-3出現后才下定決心All in,但此時它的身份已經從領頭羊,變成了追趕者。不僅如此,由于手上的籌碼太多,谷歌還面臨另一個難題,就是優(yōu)等生陷阱。
由于Bard機器人發(fā)布后頻頻翻車,而市場對大公司的小失誤又極其敏感,直接導致股價跌了8%,損失高達1000億美元,也留下了非常嚴重的后遺癥,就是內部越來越傾向保守,論文一篇篇地發(fā),但產品落地不聲不響。
好在去年3月,谷歌終于把Google Brain和Google DeepMind合并,哈薩比斯統一領導,全力開發(fā)Gemini系列,但是內部磨合問題,必然會消耗一定的時間和精力。
哈薩比斯當初賣身谷歌,是因為只有10%的時間搞研發(fā),其它時間都在找錢,現在倒是不缺錢了,但管理問題同樣令人頭大。
原先DeepMind實驗室的核心成員陸續(xù)離開,創(chuàng)立或者加入新的公司,當初的Transformer八子也是一樣選擇。
盡管谷歌已經開始亡羊補牢地召回人才,但是相較于山姆·奧特曼的氣勢如虹,錢,已經不是吸引*人才的主要因素。
微軟成*贏家?Open AI能贏到最后嗎?
*的大腦,才是致勝的關鍵。而從一開始就踐行這一點的,就是開頭那場晚宴上遲到的年輕人,布羅克曼。
他那場他還不是主角的晚宴結束后,*時間就給當時AI行業(yè)的*人物們一一打了電話,
可惜的是,辛頓已經去了谷歌,楊立昆也被Facebook收入麾下,只剩下致力于學術界的約書亞·本吉奧。
本吉奧也是神助攻,直接給他提供了一份年輕研究者名單,雖然當時AI界的聚光燈都在大佬們身上,但布羅克曼依然租了輛大巴車,把名單上的研究人員,帶到一個與世隔絕的葡萄酒莊,度過了一整個周末。
三周之后,因為布羅克曼在人才招攬上超高的執(zhí)行力,再加上馬斯克+山姆·奧特曼的人格魅力,可以說OpenAI從一開始就擁有雙重Buff,而且那時候的他們,言辭里充滿對技術的浪漫主義情懷,一種奧本海默式的理想氣質蔓延在整個酒莊。
最終,10個人里有9個,都同意了加入Open AI,當然也包括拒絕了谷歌兩到三倍薪酬誘惑的伊利亞。就這樣,在一眾巨頭的搶人大戰(zhàn)中,OpenAI成功拿下了大批現如今的*學術大牛。
AI公司起步,人不在多,必然得精。
有了這些人在前,Open AI的人才軍火庫也形成了自己獨特的篩選標準,一不重學歷,二不重資歷。相比遍地博士的大型研究機構,ChatGPT研發(fā)團隊里的本、碩、博人數雨露均沾,當然其中絕大部分,也都是*名校的學位。
但他們仍然認為只要能解決問題,甚至高中畢業(yè)的也能上。
雖然如今OpenAI的創(chuàng)始團隊已經七零八落,布羅克曼本人也宣布了長期休假,但Open AI在人才上的先發(fā)優(yōu)勢依然不容小覷。
看到這里可能有人會有疑問,Facebook怎么缺席了?
去年5月,華盛頓白宮,美國副總統哈里斯拉著這幾家AI巨頭開了個閉門會(谷歌、微軟、OpenAI和Anthropic),卻沒出現Facebook的身影。
要知道當年DeepMind賣身,Facebook也是出價者之一,這家公司不僅成功將GAN改造成了工具,推出了PyTorch,也拿下了大將楊立昆。
但問題就是,在GPT風起云涌的時候,Facebook還有一堆自己的麻煩沒處理好,VR和元宇宙業(yè)務出師不利,社交媒體業(yè)務陷入監(jiān)管危機。直到去年,才推出了LLaMA。
但相比遲到,Facebook有一點倒是值得肯定,不僅在商業(yè)路徑受阻時,還持續(xù)向AI團隊提供足夠的資金支持,也始終沒忘當年對楊立昆的承諾,堅持開源路線。
因為Facebook堅信,AI牌局里,開源是隱藏的王牌。只要自己一直在牌桌上,就還有機會。
而當初那場決定了AI未來走向的關鍵競拍中,還有一個熟悉的身影,百度。而且中國實際上是當時最早拋出橄欖枝的一方。
但那個時候,中國公司還陷在技術研發(fā)和投資回報哪個更重要的問題中,無法自拔。最直接的體現就是主打計算機視覺的AI四小龍(商湯、云從、依圖、曠視),一直在估值和股價的質疑里浮浮沉沉。直到,GPT出現后,事情才有了轉機。
清華系逐漸進入大眾視野,如今的中國AI大模型五虎(智譜AI、百川智能、月之暗面、零一萬物和MiniMax),三家出身清華,這一批AI創(chuàng)業(yè)者身上標簽也更明顯,那就是像極了OpenAI:
年輕、根正苗紅的技術背景,以及更成熟的AI落地思路。
代表人物,就是月之暗面的創(chuàng)始人楊植麟,師從智譜AI首席科學家唐杰,博士生導師分別是谷歌和蘋果的AI負責人。
AI草臺班子里的角兒
從辛頓到楊植麟,從硅谷到清華,從學術界到企業(yè)界,在主題為AI的這場牌局中,我們也能一窺其中的玩家風格。
就像楊立昆最早質疑的一樣,年輕,沒經驗,但他沒料到的是,正是這樣的玩家,才有更強的學術延伸性,偉大確實很難被計劃。也是因此,才會出現創(chuàng)業(yè)公司和大廠同臺競技的畫面。
同樣也是阿里這類巨頭,多方押注創(chuàng)業(yè)公司的原因(上述五虎,阿里全部都投了)。
模型公司綁定巨頭的玩法,已經在美國走通,(微軟+OpenAI、亞馬遜+Anthropic、特斯拉+xAI),可一旦出現突破性進展,最直接的可能,就是脫離大廠,重新洗牌,提前預定新一代大廠。
所以AI這場牌局,從辛頓30年坐冷板凳開始,就已經注定了會是一場長期游戲,只有*想象力的玩家,才有勝出的可能。
比如Open AI成立之初,就只有兩個目標:一是訓練一臺機器,在《魔獸爭霸》里打敗*玩家;二是打造一只五指機械手,用來還原魔方,這只機械手還出現在了布羅克曼的婚禮上。
未來,或許很難再有第二個Open AI,但草臺班子的戲臺上,總有耀眼的角兒能殺出重圍,也正是新奇和有趣,才造就了出色和有戲,這或許才是新技術行業(yè),應有的題中之義。