復旦大學團隊研發“眸思”大模型及“聽見世界”App

IT之家 3 月 2 日消息，據復旦大學官方公眾號，在復旦大學自然語言處理實驗室 (FudanNLP) 師生的努力下，基于多模態大模型“復旦?眸思”(MouSi) 為視障者量身打造的“聽見世界”App 上線。

這套系統僅需一枚攝像頭、一對耳機，就能將畫面轉化為語言，且支持描繪場景、提示風險等功能。“聽見世界”App 可為視障者日常生活需求設計三種模式。

• 街道行走：該模式下，“眸思”能夠細致掃描道路情況，提示潛在風險。

• 自由問答：可幫助視障者走進博物館、藝術館、公園，捕捉四周景象每個細節，可用聲音構建豐富的生活場景，官方演示圖顯示，該 App 還可實現轉述電視畫面內容等功能。

• 尋物：該模式為視障者提供日常物件的尋覓功能，官方稱其為“可靠管家”。

據悉，預計今年 3 月，“聽見世界”App 將完成第一輪測試，并在中國一、二線城市和地區同步開啟試點，根據算力部署情況進行推廣。

IT之家注：復旦大學自然語言處理實驗室（FudanNLP）此前開發了 MOSS 大模型，2023 年 4 月宣布正式開源，成為國內首個插件增強的開源對話語言模型。半年時間后，多模態模型“眸思”問世。