Sora如何降維打擊其他文生視頻大模型？記者實(shí)測(cè)對(duì)比

OpenAI的文生視頻大模型Sora已經(jīng)發(fā)布兩天，其沖擊力依然不減。

2月18日，新京報(bào)貝殼財(cái)經(jīng)記者進(jìn)行了Sora與其他文生視頻大模型的對(duì)比測(cè)試，發(fā)現(xiàn)Sora在時(shí)間和視頻生成質(zhì)量上均對(duì)“同行”產(chǎn)生了“降維打擊”：其他文生視頻大模型僅能生成3至4秒的視頻，而Sora生成的視頻時(shí)間最多可達(dá)1分鐘，且景物也更加清晰穩(wěn)定、符合描述。

不過，隨著越來越多使用Sora制作的視頻出現(xiàn)以及部分技術(shù)細(xì)節(jié)的公開，業(yè)界開始對(duì)其進(jìn)行全方位審視，其中，贊揚(yáng)和驚嘆聲不少，但Sora生成的視頻也被發(fā)現(xiàn)存在諸多不合理之處。

文生視頻對(duì)比實(shí)測(cè)：Sora從“動(dòng)圖”升級(jí)到“短片”

“一個(gè)時(shí)髦的女人走在東京的街道上，街道上充滿了溫暖發(fā)光的霓虹燈和生動(dòng)的城市標(biāo)志。她穿著一件黑色的皮夾克，一件紅色的長裙，一雙黑色的靴子，還帶著一個(gè)黑色的錢包。她戴著太陽鏡，涂著紅色的口紅。她自信而隨意地走著。街道是潮濕和反光的，創(chuàng)造了一個(gè)五顏六色的燈的鏡面效果。許多行人走來走去。”這是OpenAI官網(wǎng)介紹Sora時(shí)，出現(xiàn)的第一組提示詞。

在OpenAI推出Sora之前，文生視頻領(lǐng)域的創(chuàng)業(yè)公司主要包括Pika、Runway等，為了驗(yàn)證Sora的能力，新京報(bào)貝殼財(cái)經(jīng)記者將上述同樣的提示詞輸入Pika文生視頻模型，以及Runway旗下的Gen2video文生視頻模型進(jìn)行了實(shí)測(cè)。

在相同提示詞下，新京報(bào)貝殼財(cái)經(jīng)記者使用Pika生成的視頻截圖。

在相同提示詞下，新京報(bào)貝殼財(cái)經(jīng)記者使用runway旗下Gen2video生成的視頻截圖。

OpenAI官網(wǎng)上Sora生成的視頻。

貝殼財(cái)經(jīng)記者發(fā)現(xiàn)，在相同的提示詞下，Pika僅能生成3秒的視頻，Gen2video則可以生成4秒的視頻。其中，Pika的視頻為“時(shí)髦女人”的背影，無法體現(xiàn)她“戴著太陽鏡，涂著紅色的口紅”的描述，不過對(duì)于提示詞中“潮濕反光的街道和五顏六色燈的鏡面效果”體現(xiàn)得較好，但整體上視頻較為模糊。

Gen2video則跳出了“無法輸入這么多提示詞”的彈窗，并根據(jù)能夠輸入的部分生成了一個(gè)4秒的視頻，該視頻相比Pika顯然精細(xì)很多，也符合提示詞描述的人物形象，包括“街道、人群、黑錢包”等。

但可以發(fā)現(xiàn)，無論是Pika還是Gen2video，都忽略了“一件紅色的長裙”這個(gè)細(xì)節(jié)，且貝殼財(cái)經(jīng)記者通過觀看視頻發(fā)現(xiàn)，這兩段視頻仍能看出AI生成的影子，特別是Gen2video的人物臉部，有細(xì)微的形變，這正是AI生成視頻的特點(diǎn)之一：難以始終保持同一人物的連貫性。

而Sora不僅體現(xiàn)了提示詞中的全部細(xì)節(jié)，而且還很好地保持了人物的連貫性，使得該視頻幾乎可以“以假亂真”。當(dāng)然，如果仔細(xì)觀察，可以發(fā)現(xiàn)該視頻中人物的腳步在某幾個(gè)幀會(huì)出現(xiàn)不自然的扭曲，以及該視頻中的背景廣告牌雖然酷似日文，但由于目前AI還無法直接在視頻中“認(rèn)識(shí)”文字，其只能生成似是而非的“日文”，這都是AI生成視頻的特點(diǎn)之一。

但即便如此，Sora還是用事實(shí)顯現(xiàn)出了同其他文生視頻大模型的代差。

在谷歌和推特都有從業(yè)經(jīng)歷的AI創(chuàng)業(yè)者Gabor Cselle也發(fā)布了使用相同提示詞，在其他四個(gè)文生視頻模型中“復(fù)現(xiàn)”Sora“穿過下雪、櫻花飛舞的東京街道……”的場(chǎng)景，并表示“其他模型達(dá)不到能和Sora比較的效果”。

Gabor Cselle社交賬號(hào)截圖。

在國內(nèi)，也有不少AI從業(yè)者直觀地感受到了Sora帶來的沖擊。

清華大學(xué)沈陽教授團(tuán)隊(duì)一直聚焦AI在各個(gè)領(lǐng)域的應(yīng)用，并也一直在使用AI模型進(jìn)行文生視頻的操作。2月17日，他在朋友圈發(fā)布了一條團(tuán)隊(duì)成員花兩天制作的“半失敗”AI視頻，并表示“從這里可以看出和Sora的差距，我讓她暫時(shí)放棄這個(gè)作品，等算法升級(jí)再重做一下。”

對(duì)于Sora出現(xiàn)后，使用AI制作視頻的工作能否繼續(xù)，沈陽回復(fù)貝殼財(cái)經(jīng)記者“慢慢弄，往前挪唄”。

理解物理世界 顛覆影視、游戲行業(yè) Sora是“通用世界模型”嗎？

為何Sora能夠在視頻生成的質(zhì)量上明顯領(lǐng)先同業(yè)產(chǎn)品？OpenAI在官方網(wǎng)站上表示，Sora是能夠理解和模擬現(xiàn)實(shí)世界的模型的基礎(chǔ)，相信這一能力將是實(shí)現(xiàn)通用人工智能的重要里程碑。不過，Sora還存在很多不完善之處，仍然處于世界模型研究應(yīng)用的初期階段。

什么是世界模型？貝殼財(cái)經(jīng)了解到，實(shí)際上runway公司在去年12月就提出過要開發(fā)通用世界模型（General World Model），用其旗下的Gen2模型來模擬整個(gè)世界，“我們相信，人工智能的下一個(gè)重大進(jìn)步將來自理解視覺世界及其動(dòng)態(tài)的系統(tǒng)，這就是為什么我們要圍繞通用世界模型開始一項(xiàng)新的長期研究工作。”

從效果上看，目前OpenAI已經(jīng)通過Sora部分做到了這一點(diǎn)，因?yàn)橹挥欣斫馕锢硎澜绲倪\(yùn)行法則，文生視頻模型才能創(chuàng)造出更加逼真的視頻。英偉達(dá)高級(jí)科學(xué)家Jim Fan就對(duì)此表示，Sora是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的物理引擎，“它是對(duì)許多世界的模擬，無論是真實(shí)的，還是虛構(gòu)的。該模擬器通過去噪和梯度學(xué)習(xí)方式，學(xué)習(xí)了復(fù)雜的渲染、直觀的物理、長期推理和語義理解。”

而理解現(xiàn)實(shí)世界的物理法則，也正是通往通用人工智能這一“終極目標(biāo)”的必經(jīng)之路。

對(duì)此，不少科技圈名人都發(fā)出了驚嘆，馬斯克直接在社交平臺(tái)上發(fā)布短評(píng)“GG世界”（GG是網(wǎng)絡(luò)游戲的用語之一，原指游戲結(jié)束時(shí)玩家互相致意，后引申為“游戲結(jié)束”）。

360公司董事長周鴻祎則直接在朋友圈發(fā)文稱，一旦AI能夠接上攝像頭，觀看并理解世界上所有的電影，它對(duì)世界的理解能力將遠(yuǎn)遠(yuǎn)超過僅僅通過文字學(xué)習(xí)所能達(dá)到的水平。在這種情況下，實(shí)現(xiàn)通用人工智能不再是遙不可及的夢(mèng)想。周鴻祎甚至預(yù)測(cè)，這一天可能在一兩年內(nèi)就會(huì)到來，而不是十年或二十年。

在現(xiàn)實(shí)層面，有更多人擔(dān)心文生視頻大模型可能直接沖擊影視和游戲行業(yè)。美國舊金山早期投資人Zak Kukoff預(yù)測(cè)，在5年內(nèi)，一個(gè)不到5人的團(tuán)隊(duì)將可能用文生視頻模型制作出一部票房收入超過5000萬美元的電影。

值得注意的是，日前大火的游戲《幻獸帕魯》的開發(fā)團(tuán)隊(duì)就僅有4人，有許多人質(zhì)疑該團(tuán)隊(duì)使用了AI生成技術(shù)制作游戲角色，以節(jié)省成本。而根據(jù)OpenAI 發(fā)布的最新Sora技術(shù)報(bào)告，Sora能夠模擬視頻游戲的數(shù)字化過程，Sora能在控制 Minecraft 游戲角色進(jìn)行基本操作的同時(shí)，高質(zhì)量動(dòng)態(tài)渲染游戲世界。這意味著，個(gè)人開發(fā)制作游戲的門檻可能會(huì)被進(jìn)一步降低。

前阿里巴巴副總裁，Lepton AI公司創(chuàng)始人賈揚(yáng)清則直接評(píng)價(jià)Sora“真的非常牛”，他表示Sora的問世可能會(huì)給對(duì)作OpenAI的公司帶來一波被大廠FOMO（害怕錯(cuò)過機(jī)會(huì)而導(dǎo)致的收購）收購的機(jī)會(huì)。賈揚(yáng)清預(yù)測(cè)，大模型市場(chǎng)長期仍將呈現(xiàn)閉源寡頭的格局，開源大模型仍然需要一段時(shí)間才能追趕上，而從算法小廠的角度來看，要么在算法上與OpenAI媲美，要么深耕垂直領(lǐng)域的應(yīng)用，要么選擇開源道路；最后，基礎(chǔ)設(shè)施的需求將繼續(xù)猛增。

記者聯(lián)系郵箱：luoyidan@xjbnews.com

新京報(bào)貝殼財(cái)經(jīng)記者 羅亦丹

編輯 岳彩周

校對(duì) 盧茜