大模型·大未來｜大模型“2024年度十大突破技術和進展”評出

紅星資本局12月25日消息，12月25日、26日，以“大模型·大未來”為主題的“2024人工智能大模型基準測試科創發展大會”在成都高新區舉辦。

隨著人工智能大模型快速發展，各項前沿技術不斷推陳出新，諸多高校學者正通過跨學科研究推動產學研用深度融合，促進大模型技術的創新和應用落地。

為了更好地整合高校在大模型領域的優勢資源，在此次大會上，紅星新聞發起成立了“高校大模型創新發展聯盟”（下稱“聯盟”），為大模型產業發展提供技術賦能和人才培養。

紅星資本局了解到，聯盟成員長期跟蹤全球的大模型前沿技術和進展，并根據這些技術和進展的突破性、影響力投票篩選出“2024年度十大突破技術和進展”。

以下是“2024年度十大突破技術和進展”：

1. 大模型推理技術

典型代表：OpenAI o1

突破點：將大模型從“聊天機器人”提升至“推理者”新層級。

產業影響：使大模型能夠進行多步問題求解，處理復雜推理問題。

2. 多模態生成式AI

典型代表：GPT4V、Sora

突破點：將多模態理解和生成提升至更高水平。

產業影響：豐富和擴展了生成式AI內涵（文生圖、文生視頻）。

3. 具身智能和大模型的進化

典型代表：RoboPoint、Manipulate Anything、PaLME、MOKA、ReKep、D3fields

突破點：大模型通過操作物理設備、感知環境變化調整策略，以實現自我進化。

產業影響：與環境交互可以讓大模型從真實世界獲得獎勵反饋，在開放決策空間實現自我學習和進化，有望構建更加強大的智能體，媲美乃至在部分場景超過人類表現。

4. 推理時擴展法則

表現：性能隨推理時長提升

突破點：將擴展法則（Scaling Laws）從預訓練、后訓練延伸至推理時，補齊了擴展法則重要的一環，同時給大模型擴展開辟了新的方向。

產業影響：推動大模型從“快思考”進入“慢思考”，顯著提升了大模型求解復雜問題的能力。

5. 小語言模型

典型代表：Phi4、MobileLLM、Mistral NeMo、Qwen2.53B、ALLaVA

突破點：均衡模型規模與性能。

產業影響：使大模型可在端側、資源受限場景下使用，有利于保護用戶隱私、減少云端推理成本，拓寬了大模型的應用場景。

6. AI合成數據

典型代表：Hugging Face Cosmopedia v0.1、UltraFeedback

突破點：為“人類數據很快耗盡”難題提供了有效解決方案。

產業影響：從數據角度支撐大模型“SelfImprove”能力。

7. 基于大模型智能體的大規模社會模擬

典型代表：Oasis

突破點：將開放agent模擬數量拓展至一百萬個。

產業影響：將對社會模擬、數字孿生帶來深遠影響。

8. 機械可解釋性

典型代表：稀疏自編碼器（Sparse Autoencoders）

突破點：將大模型內部組件分解成可解釋特征。

產業影響：透明化大模型“黑盒子”，增強大模型可信度和安全性。

9. 長窗口大語言模型

典型代表：YaRN、LongRoPE、KimiChat

突破點：將大模型的窗口拓寬至百萬甚至千萬詞元，使其可以處理更長輸入。

產業影響：智能體的多模態記憶可以更長，可以處理更復雜的任務，開發者可以更好地定制個性化模型。

10. 新型模型架構

典型代表：Mamba、RWKV、Hyena、RetNet

突破點：基于參數化狀態空間模型設計，在長序列建模效率上相比Transformer架構取得了顯著提升。

產業影響：為自然語言處理、語音識別、圖像建模等領域提供了更加靈活且高效的選擇，為未來模型的設計開辟了新的方向。

據介紹，未來，聯盟將會持續跟進和發布大模型領域的年度十大突破性技術和進展，這有利于國內大模型企業和產業相關方對全球大模型技術的發展形成整體觀，借此制定研發策略，提前進行產業布局和規劃，也將推動國內大模型原創性技術研發和突破。

紅星新聞記者 楊佩雯

編輯 楊程

（下載紅星新聞，報料有獎！）