OpenAI 等基于大量工程實驗和反復驗 證提出縮放定律，揭示了模型能力與計算能力、參數(shù)量和數(shù)據(jù)量間 的定量關系，業(yè)界也遵循該定律指導資源要素投入、推動模型創(chuàng)新 發(fā)展，近年來在模型技術能力、通用泛化水平等方面取得一系列突 破性進展。目前，大模型支持模態(tài)已逐步從自然語言處理拓展到多 模態(tài)理解和生成等場景。

從 2023 年至今的基準測試結(jié)果來看，大模型能力已經(jīng)出現(xiàn) 階躍式提升。語言大模型能力提升主要體現(xiàn)為以下四方面。

一是上下文窗口長度擴展，提升全局能力。大模型的上下文窗口長度是指 模型在執(zhí)行文本生成任務時，能夠處理的前置文本的數(shù)量或長度， 決定了模型對信息的理解深度和廣度，對于理解和生成連貫、一致 且準確的文本具有重要意義。當前，國內(nèi)外主流大語言模型均具備 128k 以上的上下文長度處理能力，可一次性處理數(shù)十萬單詞或漢字。

二是知識密度增強，儲存更多知識。隨著數(shù)據(jù)、算力、算法協(xié)同發(fā) 展，大模型知識密度持續(xù)增強，平均每 8 個月翻一番。2020 年 6 月 發(fā)布的 GPT-3 大模型有 1750 億個參數(shù)，2024 年 2 月面壁智能發(fā)布 MiniCPM-2.4B 模型在實現(xiàn)同等性能的同時，參數(shù)規(guī)模降至 24 億， 相當于知識密度提G了約 86 倍。

三是 MoE 混合專家架構能夠容納更多知識，準確刻畫任務。MoE 稀疏激活多個專家子模型支路，加權 融合多個子模型結(jié)果，實現(xiàn)更加準確的輸出，提G推理計算效率。 目前，谷歌的 Gemini-1.5 Pro、Mistral AI 的 8x7B 與 8x22B、阿里云 Qwen-1.5 MoE、階躍星辰 Step-2 等頭部大模型均采用 MoE 架構， 已 成 為 當 前 大 模 型 的 重 要 演 進 趨 勢 。

四 是通過強化學習 （Reinforcement Learning，RL）將思維鏈（Chain of Thought，CoT） 內(nèi)化進模型，提升復雜推理能力。2024 年 9 月 OpenAI 發(fā)布的 o1 系 列模型在后訓練（Post-Training）階段采用強化學習和思維鏈的技術方案，不僅在“慢思考”后回答復雜問題的表現(xiàn)優(yōu)異（尤其是在 STEM L域的推理能力顯著增強），還具有了自我反思與錯誤修正能力， 使自博弈強化學習有望成為提升語言大模型邏輯推理能力的技術新范式。