2025年的分岔路口：一位AI研究者的年度思考 (第一部分)

文章来源：Xinzhiyuan | 编辑：Taozi

职业轉折背後的清晰選擇

當一個研究者在職業生涯的關鍵時刻面臨意外變局時，他會學到什麼？

2025年初的這場職業轉折，讓Tian Yuandong有機會用一個經典的決策框架來審視自己的選擇。在被邀請參與大型項目"應急"時，這位長期從事強化學習研究的AI科學家預先繪製了一張2x2的矩陣，列舉了四種可能的結果。但現實給了他第五種——一個超出預期之外的結果。

這個意外讓他對社會複雜性有了更深的體悟。不過，在那幾個月的工作中，團隊確實在強化學習的核心問題上取得了突破：訓練穩定性、訓練與推理的交互、模型架構設計、預訓練與中間訓練的耦合、長鏈推理算法、數據生成方法、後訓練框架設計等等。這些成果為他後續的研究方向帶來了重要的範式轉變。

Tian Yuandong坦言，離開大公司這個決定其實已經醞釀多年。十多年的職業生涯中，他多次想過離職——2023年末還差點付諸行動，但經濟和家庭因素讓他一次次改變主意。近年來，他半開玩笑地說自己的言行舉止就像在"暗示"公司該讓他離職。這一次，他終於被"幫助"做出了決定。

有趣的是，這種人生的"之字形"軌跡反而成了他創意的養分。正如那句古諺："若官路不通，詩人得其利；人生經歷越豐富，詩句越深邃。"一個過於平順的人生，反而缺少了生活本身的張力。

他還記得2021年初，因為在年度總結中寫了幾行關於"論文為何未被接納"的反思，竟然收到了一份不太友好的反饋。但他選擇了沉默，甚至在眾人面前裝作剛剛獲得了晉升。半年後，事實證明了這個策略：他真的被晉升了。而那篇在2021年初無人關注的工作，到了7月竟然獲得了ICML最佳論文獎，成為表示學習領域的經典之作。

10月22日之後，他的所有通訊渠道一度癱瘓——每天數百條消息、郵件和會議邀請撲面而來。花了數周才恢復正常生活。感謝這段時間所有人的關心，儘管他承認可能有些消息沒能及時回覆。

最終，在多個頂級科技公司的邀請中，他選擇了作為聯合創始人加入一個新創業項目。細節暫時保密，他更傾向於專注地工作，而不是過早公開。

2025年的研究地圖：三條主線

Tian Yuandong為自己規劃的研究路線很清晰：大模型推理效率和模型可解釋性。

連續潛空間推理的擴散

2024年末發布的連續潛空間推理工作（coconut, COLM’25）在2025年引發了廣泛共鳴。整個研究社群開始探索：如何在強化學習和預訓練中應用這個思路？如何優化訓練效率和計算成本？

儘管他的團隊後來被調往其他項目，無法深入拓展這條線，但這個方向本身已經驗證了其價值。在上半年，他們發表了一篇理論分析文章《Reasoning by Superposition》(NeurIPS’25)，從數學上嚴格闡明了連續潛空間推理相比傳統方法的優勢所在，獲得了相當的關注。

推理效率的多維突破

降低大模型的推理成本是一個系統工程，Tian Yuandong的團隊從多個維度推進：

Token層面的優化：Token Assorted (ICLR’25)先在潛空間中學習離散token（借助VQVAE），然後在後訓練中將這些離散token與文本token混合，實現了推理成本的顯著降低，同時性能還有提升。

置信度驅動的推理終止：DeepConf通過檢測每個生成token的置信度水平，動態決定推理路徑是否可以提前終止，大幅減少了推理中消耗的token數量。在多數投票等場景中，性能甚至更優。

並行推理鏈的訓練加速：ThreadWeaver創建平行的推理鏈，通過後訓練對這些鏈進行協同優化，從而加快整個推理過程。

此外，團隊還在小模型上探索了強化學習驅動的推理能力（Sandwiched Policy Gradient），甚至在MobileLLM-R1這樣的輕量級模型中實現了複雜推理的學習。

可解釋性：從"為什麼有效"到"必然有效"

Tian Yuandong對Grokking現象（突然洞察）的興趣源於兩年前的一個核心困惑：在分析表示學習時，他能夠描述學習動態和坍塌機制，但無法回答一個根本問題——模型實際學到了什麼樣的表示？這些表示與數據結構的關係是什麼？它們能達到什麼樣的泛化水平？

Grokking現象——從記憶到泛化的突然轉變——似乎是一扇進入這個謎團的窗口。初期的探索確實困難重重。2024年的工作COGS (NeurIPS’25)只能分析特殊情況，這讓他並不完全滿意。經過超過一年的反覆思考和與GPT的多輪對話，最近的工作《Provable Scaling Laws》標誌著一個重大突破：它能夠分析線性NTK框架所無法觸及的現象，並相當好地解釋了特徵湧現背後的訓練動態。雖然例子仍然具有特殊性，但至少打開了一扇新窗。

年度最後的工作《The path not taken》是他特別滿意的——它在權重層面給出了初步答案，說明為什麼強化學習和有監督微調（SFT）的行為差異如此巨大。

SFT導致過擬合和災難性遺忘，表面原因是訓練數據缺乏on-policy特性，深層原因是外部數據使主要權重分量發生劇烈改變，破壞了"基礎"穩定性。而強化學習通過使用on-policy數據，保持主要權重分量不變，只修改次要分量，避免了災難性遺忘——而且這些改變的權重更加分散（特別是在bf16量化下）。

為什麼可解釋性值得信仰

許多人認為可解釋性——即"AI為什麼這麼有效"這個問題——不夠重要。但對Tian Yuandong來說，這是關乎未來的核心問題。

考慮兩種未來情景：

情景一：如果單純通過Scaling就實現了AGI甚至ASI，那麼全人類的勞動價值趨近於零。此時，AI作為一個巨大的黑箱解決所有問題。那么最緊迫的問題是：**如何確保這個超級智能體始終向善，不會隱蔽地欺騙或作惡？**答案離不開可解釋性研究。

情景二：如果Scaling之路最終陷入瓶頸，人類無法滿足指數級增長的資源需求，那麼我們必須另闢蹊徑。此時，**理解"模型為什麼有效，什麼會讓它失效"**就成了必需。而可解釋性研究正是這條備選之路的基石。

無論哪種情景，可解釋性都是解局的關鍵。即使AI是個全知全能的善的存在，人類的天性也會驅使我們去探究它為何能做到這一點。畢竟，"黑箱"本身就會滋生懷疑的鏈條。

在大模型技術已經達到甚至超越人類平均水平的時代，《三體》中的"黑暗森林"法則可能以另一種形式展現。當下，打開已訓練模型的黑箱、找到其內部電路仍然是初步的任務。

可解釋性研究真正的難度在於：從第一性原理出發——即從模型架構、梯度下降和數據的內在結構——解釋為什麼模型收斂到那些解耦的、稀疏的、低秩的、模組化的、可組合的特徵。為什麼存在如此多的等價解釋？什麼樣的超參數會引發這些結構的湧現？它們之間如何相互關聯？

當我們能夠直接從梯度下降的方程推導出大模型中特徵湧現的必然性時，可解釋性就從生物學意義上的"證據收集"升華為物理學意義上的"原理演繹"，從而指導實踐、開啟下一代AI設計的新路徑。

用四百年前的物理學做類比：那時我們有許多第谷·布拉赫（AI領域的數據收集者）、一些開普勒（假說提出者），但還沒有牛頓（原理發現者）。當那一刻到來時，世界的面貌將面目全非。