Sora讓視頻生成更富想象力 能幫助蘋果Vision Pro普及嗎？

上周，美國科技股上演了一場“資本盛宴”。受Sora大模型發布的提振，英偉達引領AI公司股價飆升，該公司市值歷史上首次觸及2萬億美元大關，并帶動Meta、微軟等公司股價大漲。市場人士認為，AI有望進一步推動英偉達漲勢，在加入“2萬億美元”俱樂部后，英偉達趕超蘋果市值將不再遙不可及。

在這一輪由AI大模型觸發的科技浪潮中，蘋果公司卻未能分得一杯羹。自上個月市值被微軟超越后，蘋果股價一路走低。該公司推出的重磅混合現實可穿戴產品Vision Pro的發布也未能提振蘋果股價表現。自Vision Pro正式開賣近一個月以來，蘋果股價累計跌幅超過6%，目前市值2.8萬億美元，比微軟落后近2000億美元。

Vision Pro發布之初，市場給予該設備較大的預期。蘋果CEO庫克將這款設備的發布宣告為“空間計算時代的到來”。他稱：“Vision Pro是有史以來最先進的消費電子設備，其革命性且神奇的用戶界面將重新定義我們聯系、創造和探索的方式。”

在Sora大模型發布后，很快有用戶將Sora生成的視頻轉化成蘋果Vision Pro可看的3D空間視頻。有科技博主表示：“Sora+Vision Pro意味著你可以描述一個世界，并且在這個世界中存在。”

從這一角度來看，Sora的問世給Vision Pro帶來了更多的內容。但專家向第一財經記者強調，Sora創建的視頻仍是普通視頻，而不是基于空間計算的空間視頻，因此還不能直接為Vision Pro來創建視頻。

“理論上所有的視頻都可以轉化成空間視頻，Sora并不懂空間計算，它生成的視頻也是普通的視頻，所以與Vision Pro沒有直接的關聯。”某3D生成式AI初創公司技術負責人對第一財經記者表示。

他表示，自己也使用蘋果的Vision Pro做了一些3D視頻，但這些視頻僅供展示，對于Vision Pro未來的應用場景如何開發，還沒有很成熟的想法。

他告訴第一財經記者，3D視頻需要包括空間信息，比如每個像素點在空間中的位置信息，也被稱為“深度”（depth），普通視頻通過生成depth，可以轉化為Vision Pro可看的具有3D效果的空間視頻。

上述技術負責人認為，短期內Sora的視頻生成還不會涉及3D生成，因為3D和文本、圖片和視頻生成有本質的區別，其難點并不在于獲取高度一致性的連續多角度圖像，而在于工業標準。“否則照片建模早就統治模型生產工作了。”他表示。

在工業領域，蘋果公司已經在尋求與3D軟件企業合作。達索系統全球品牌執行副總裁Philippe Laufer向第一財經記者證實，目前正在與蘋果公司合作，為Vision Pro開發全新的設計體驗。“達索系統的商業客戶也是蘋果公司非常需要的。”Laufer表示。

利亞德集團副總裁、虛擬動點CEO劉耀東對第一財經記者表示，針對Sora大模型的一個爭議焦點就是它是否理解了物理世界，這就包括對空間感的理解，從目前發布的信息來看，Sora還不具備這個能力。“講白了，Sora目前有點像能夠生成會動的拼圖世界，但還是二維的。”他表示。

北京智源人工智能研究院前理事長張宏江也對第一財經記者表示，Sora大模型與空間計算是兩回事，并沒有涉及空間計算的概念。

浙江大學人工智能研究所所長吳飛從技術的角度介紹稱，Sora先將文本單詞和視覺子塊映射到同構低維隱性空間，在這一低維隱性空間中引入擴散模型，對視覺信息反復迭代，千錘百煉地挖掘文本單詞、空間子塊和時空子塊之間的關聯關系。

“這種方式好比先通過‘車同軌、書同文’，將文本、視覺等異構信息投影到同構空間，然后再通過‘先破壞（添加噪音）’、‘再重建（去除噪音）’的迭代手段，來洞悉視頻中各種不同單元在時間和空間中的關聯關系，從而甄別和學習紋理、運動、光照、遮擋、交互等復雜視覺物理規律。”吳飛在一篇科普撰文中寫道。

但也有業內人士認為，Sora大模型與空間計算兩者的結合，未來可能開啟對物理世界更深入的模擬和理解的方法，加速實現所謂的“元宇宙”。

研究機構Canalys分析師劉健森對第一財經記者表示：“可以說生成式AI在類似于元宇宙的虛擬世界建設方面會有所幫助，因此Sora會在一定程度上助推Vision Pro的生態應用，但Vision Pro最先的使用者肯定以行業開發者為主，向個人消費者普及還需要一個過程。”

Canalys此前預測，Vision Pro上市后一年內可能都會面臨缺貨，而五年后的產量可能會增加至1260萬臺，約占iPhone當前裝機量的1%；屆時Vision Pro用戶數量有望將達到2000萬，占MacBook裝機量的15%。

盡管近期有網上傳言稱Vision Pro首批用戶已有退貨的，但劉健森對第一財經，該機構對Vision Pro的需求維持原來的預期。