Meta推出Apollo開源模型，讓AI“看懂”視頻

IT之家 12 月 18 日消息，Meta 攜手斯坦福大學(xué)，推出全新 AI 模型系列 Apollo，顯著提升機(jī)器對(duì)視頻的理解能力。

IT之家注：盡管人工智能在處理圖像和文本方面取得了巨大進(jìn)步，但讓機(jī)器真正理解視頻仍然是一個(gè)重大挑戰(zhàn)。

視頻包含復(fù)雜的動(dòng)態(tài)信息，人工智能更難處理這些信息，不僅需要更多的計(jì)算能力，而且如何設(shè)計(jì)最佳 AI 視頻解讀系統(tǒng)，也存在諸多困難。

在視頻處理方面，研究人員發(fā)現(xiàn)，保持每秒恒定的幀采樣率能獲得最佳結(jié)果。因此 Apollo 模型使用兩個(gè)不同的組件，一個(gè)處理單獨(dú)的視頻幀，而另一個(gè)跟蹤對(duì)象和場(chǎng)景如何隨時(shí)間變化。

此外，在處理后的視頻片段之間添加時(shí)間戳，有助于模型理解視覺信息與文本描述之間的關(guān)系，保持時(shí)間感知。

在模型訓(xùn)練方面，團(tuán)隊(duì)研究表明訓(xùn)練方法比模型大小更重要。Apollo 模型采用分階段訓(xùn)練，按順序激活模型的不同部分，比一次性訓(xùn)練所有部分效果更好。

此外 Meta 公司還不斷優(yōu)化數(shù)據(jù)組合，發(fā)現(xiàn) 10~14% 的文本數(shù)據(jù)，其余部分略微偏向視頻內(nèi)容，可以更好地平衡語言理解和視頻處理能力。

Apollo 模型在不同規(guī)模上均表現(xiàn)出色，較小的 Apollo3B 超越了 Qwen2VL 等同等規(guī)模的模型，而 Apollo7B 超過更大參數(shù)的同類模型，Meta 已開源 Apollo 的代碼和模型權(quán)重，并在 Hugging Face 平臺(tái)提供公開演示。

參考