Sora 證明特斯拉的思路是對(duì)的，而特斯拉證明 Sora 的價(jià)值不止是生成視頻。

Sora 推出，馬斯克可能是心情最復(fù)雜的一個(gè)。不僅因?yàn)槠浔救伺c OpenAI 早年的糾葛，更因?yàn)?Sora 實(shí)現(xiàn)的其實(shí)是特斯拉早幾年間一直在探索的方向。

2 月 18 日，馬斯克在科技主播 @Dr.KnowItAll 一條主題為「OpenAI 的重磅炸彈證實(shí)了特斯拉的理論」的視頻下留言，稱「特斯拉已經(jīng)能夠用精確物理原理制作真實(shí)世界視頻大約一年了」。

隨后他在 X 上轉(zhuǎn)發(fā)了一條 2023 年的視頻，內(nèi)容是特斯拉自動(dòng)駕駛總監(jiān) Ashok Elluswamy 向外界介紹特斯拉如何用 AI 模擬真實(shí)世界駕駛。視頻中，AI 同時(shí)生成了七個(gè)不同角度的駕駛視頻，同時(shí)只需要輸入「直行」或者「變道」這樣的指令，就能讓這七路視頻同步變化。

當(dāng)然，這不意味著特斯拉早在一年前就掌握了 Sora 的技術(shù)，畢竟特斯拉的生成技術(shù)只用于模擬車輛行駛，而 Sora 能夠處理的環(huán)境、場景、prompt、物理規(guī)律等信息更加復(fù)雜，二者在難度上不可同日而語。

但特斯拉 AI 和 Sora 訓(xùn)練的思路是一致的：并不是訓(xùn)練 AI 如何生成視頻，而是訓(xùn)練 AI 理解和生成一個(gè)真實(shí)的場景或者世界，視頻只是從某一個(gè)視角觀察這個(gè)場景的一段時(shí)空。這是兩家在現(xiàn)有業(yè)務(wù)上完全不同的公司，以彼此不同的方法來感知真實(shí)世界，而他們共同希望通向的，都是 AGI（通用人工智能），甚至更具體一些，就是具身智能和智能體。

理解這個(gè)觀點(diǎn)的核心，是理解 OpenAI 為 Sora 賦予的使命，并不只是替代視頻生成的創(chuàng)作者，而是將視頻生成作為幫助 AI 理解真實(shí)世界的「模擬器」。如果說特斯拉數(shù)以百萬計(jì)的車輛仍然需要用「肉身」感受這個(gè)世界，那么 Sora 則是單純依靠數(shù)據(jù)的輸入，建立起對(duì)世界的認(rèn)知。

OpenAI 官網(wǎng)上，關(guān)于 Sora 的這篇研究論文名為《把視頻生成模型作為世界模擬器》。請注意「世界模擬器」（world simulators）這個(gè)關(guān)鍵詞，它是比生成視頻更關(guān)鍵的核心所在。

其實(shí)，早在特斯拉發(fā)布 FSD V12 的時(shí)候，這家以汽車為主要消費(fèi)產(chǎn)品的人工智能公司，就已經(jīng)展示了類似的能力。

如何理解呢？首先，在 FSD V12 上，工程師刪除了超過 30 萬行定義駕駛規(guī)則的代碼，系統(tǒng)將從被「投喂」的駕駛視頻中，學(xué)習(xí)如何應(yīng)對(duì)真實(shí)的駕駛場景，而不是向過往那樣，按照寫好的規(guī)則，在某個(gè)特定場景下執(zhí)行某一個(gè)具體的命令。

當(dāng)然，和作為「生成式模型」的 Sora 不同，F(xiàn)SD 的目標(biāo)是實(shí)現(xiàn)自動(dòng)駕駛，所以它并不需要真正生成一個(gè)具體的視頻。你可以想象成一個(gè)人（或者智能體）正在進(jìn)行「防御性駕駛」，基于過往經(jīng)驗(yàn)，可以對(duì)周圍環(huán)境中交通參與者的下一步移動(dòng)趨勢做出判斷。這個(gè)判斷存在在頭腦里就行了，不需要真正把它畫在紙上。因此，特斯拉的 FSD 也不需要把對(duì)未來的想象，生成為一個(gè)真實(shí)視頻，并呈現(xiàn)在車輛的某一個(gè)屏幕上。

所以，現(xiàn)在有 OpenAI 和特斯拉兩家完全不同的公司，用截然不同的方式和路徑，實(shí)現(xiàn)「通過視頻生成，讓 AI 理解物理世界」這個(gè)相同的目標(biāo)。

簡單了解一下 Sora 的運(yùn)行邏輯：OpenAI 表示，Sora 結(jié)合了 Transformer 和 Diffusion 兩個(gè)過去幾年最重要的模型。ChatGPT、Gemini、LLaMA 等語言模式都是基于 Transformer 模型，它對(duì)詞語進(jìn)行標(biāo)記，并生成下一個(gè)單詞；Diffusion 模型則是「文生圖」的代表。

如果從「理解世界」的角度來審視 Sora，那么某一幀圖像的畫質(zhì)、畫面關(guān)系絕不是模型質(zhì)量高低的評(píng)判標(biāo)準(zhǔn)，甚至官網(wǎng)釋出的 60 秒一鏡到底視頻也不是最核心的部分。重要的是這個(gè)生成的視頻可以被剪輯——在不同的機(jī)位下，無論是廣角、中景、近景、特寫，視頻中人物和背景的關(guān)系都保持著高度的「一致性」。這才是 Sora 遙遙*并接近真實(shí)的地方。

這一點(diǎn)和特斯拉在 FSD 上采取「純視覺」方案可以結(jié)合理解。簡單來說，99% 的車企或者智駕團(tuán)隊(duì)都會(huì)在車輛上保留激光雷達(dá)，通過激光束的發(fā)射和接收，輔助計(jì)算周圍物體和車輛間的距離關(guān)系。但馬斯克不僅刪除了 30 萬行代碼，還移除了雷達(dá)，只依靠高清攝像頭采集和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)來判斷距離關(guān)系。

無論是對(duì)特斯拉，還是對(duì) OpenAI，這都是巨大的挑戰(zhàn)。畢竟輸入的畫面是 2D 的，但輸出的結(jié)果（無論是駕駛指令還是視頻）都需要基于對(duì) 3D 世界的深刻理解。

規(guī)模和質(zhì)量是訓(xùn)練模型的核心。特斯拉的數(shù)據(jù)來源于真實(shí)道路上，搭載了傳感器的車輛；而 OpenAI 的大量數(shù)據(jù)，從目前的公開信息來看，來源于網(wǎng)絡(luò)。在質(zhì)量的維度，在《馬斯克傳》里，作者艾薩克森寫道特斯拉通過和 Uber 合作，獲取「五星司機(jī)」的素材訓(xùn)練 FSD；而從規(guī)模出發(fā)，奧特曼最近希望籌集萬億規(guī)模的資金，就是重注算力和規(guī)模的具體體現(xiàn)。

最后，回到一開始的那個(gè)問題，為什么我們會(huì)認(rèn)為 Sora 和 FSD v12 是相似的？Sora 和 OpenAI 未來的想象空間又是什么呢？它們和 AGI 又有什么關(guān)系？

在馬斯克看來，當(dāng)人工智能可以真正解決一個(gè)問題（物理、數(shù)學(xué)、化學(xué)等等）的時(shí)候，AGI 就到來了。不過還有另外一個(gè)理解維度，那就是具身智能。畢竟現(xiàn)實(shí)世界里，并不是只有數(shù)學(xué)公式和文字規(guī)則，擁有一定的智商的小貓小狗也可以依靠運(yùn)動(dòng)真實(shí)地和物理世界進(jìn)行互動(dòng)。

這點(diǎn)對(duì)于過去只能輸入二維信息的 AI 來說很難做到。這也是為什么馬斯克看到 Sora 后在 X 上評(píng)價(jià)是「GG Humans」，在他看來 Sora 今天做到的，已經(jīng)打破了過去的次元壁，而能理解真實(shí)世界并繼續(xù)學(xué)習(xí)，AI 也就有了更進(jìn)一步影響真實(shí)世界的能力。

而就像特斯拉把這種生成能力用于訓(xùn)練車輛，Sora 的價(jià)值也不僅僅是生成一個(gè)難以讓人區(qū)分真假的視頻，用作影視創(chuàng)作者的生產(chǎn)力工具（盡管這是一個(gè)非常困難且剛需的場景）。就像周鴻祎所說，「Sora 只是小試牛刀，它展現(xiàn)的不僅僅是一個(gè)視頻制作的能力，而是大模型對(duì)真實(shí)世界有了理解和模擬之后，會(huì)帶來新的成果和突破。」