2025年的分岔路口：一位AI研究者的年度思考 (第一部分)

文章来源：Xinzhiyuan | 编辑：Taozi

职业转折背后的清晰选择

当一个研究者在职业生涯的关键时刻面临意外变局时，他会学到什么？

2025年初的这场职业转折，让Tian Yuandong有机会用一个经典的决策框架来审视自己的选择。在被邀请参与大型项目"应急"时，这位长期从事强化学习研究的AI科学家预先绘制了一张2x2的矩阵，列举了四种可能的结果。但现实给了他第五种——一个超出预期之外的结果。

这个意外让他对社会复杂性有了更深的体悟。不过，在那几个月的工作中，团队确实在强化学习的核心问题上取得了突破：训练稳定性、训练与推理的交互、模型架构设计、预训练与中间训练的耦合、长链推理算法、数据生成方法、后训练框架设计等等。这些成果为他后续的研究方向带来了重要的范式转变。

Tian Yuandong坦言，离开大公司这个决定其实已经酝酿多年。十多年的职业生涯中，他多次想过离职——2023年末还差点付诸行动，但经济和家庭因素让他一次次改变主意。近年来，他半开玩笑地说自己的言行举止就像在"暗示"公司该让他离职。这一次，他终于被"帮助"做出了决定。

有趣的是，这种人生的"之字形"轨迹反而成了他创意的养分。正如那句古谚："若官路不通，诗人得其利；人生经历越丰富，诗句越深邃。"一个过于平顺的人生，反而缺少了生活本身的张力。

他还记得2021年初，因为在年度总结中写了几行关于"论文为何未被接纳"的反思，竟然收到了一份不太友好的反馈。但他选择了沉默，甚至在众人面前装作刚刚获得了晋升。半年后，事实证明了这个策略：他真的被晋升了。而那篇在2021年初无人关注的工作，到了7月竟然获得了ICML最佳论文奖，成为表示学习领域的经典之作。

10月22日之后，他的所有通讯渠道一度瘫痪——每天数百条消息、邮件和会议邀请扑面而来。花了数周才恢复正常生活。感谢这段时间所有人的关心，尽管他承认可能有些消息没能及时回复。

最终，在多个顶级科技公司的邀请中，他选择了作为联合创始人加入一个新创业项目。细节暂时保密，他更倾向于专注地工作，而不是过早公开。

2025年的研究地图：三条主线

Tian Yuandong为自己规划的研究路线很清晰：大模型推理效率和模型可解释性。

连续潜空间推理的扩散

2024年末发布的连续潜空间推理工作（coconut, COLM’25）在2025年引发了广泛共鸣。整个研究社区开始探索：如何在强化学习和预训练中应用这个思路？如何优化训练效率和计算成本？

尽管他的团队后来被调往其他项目，无法深入拓展这条线，但这个方向本身已经验证了其价值。在上半年，他们发表了一篇理论分析文章《Reasoning by Superposition》(NeurIPS’25)，从数学上严格阐明了连续潜空间推理相比传统方法的优势所在，获得了相当的关注。

推理效率的多维突破

降低大模型的推理成本是一个系统工程，Tian Yuandong的团队从多个维度推进：

Token层面的优化：Token Assorted (ICLR’25)先在潜空间中学习离散token（借助VQVAE），然后在后训练中将这些离散token与文本token混合，实现了推理成本的显著降低，同时性能还有提升。

置信度驱动的推理终止：DeepConf通过检测每个生成token的置信度水平，动态决定推理路径是否可以提前终止，大幅减少了推理中消耗的token数量。在多数投票等场景中，性能甚至更优。

并行推理链的训练加速：ThreadWeaver创建平行的推理链，通过后训练对这些链进行协同优化，从而加快整个推理过程。

此外，团队还在小模型上探索了强化学习驱动的推理能力（Sandwiched Policy Gradient），甚至在MobileLLM-R1这样的轻量级模型中实现了复杂推理的学习。

可解释性：从"为什么有效"到"必然有效"

Tian Yuandong对Grokking现象（突然洞察）的兴趣源于两年前的一个核心困惑：在分析表示学习时，他能够描述学习动态和坍塌机制，但无法回答一个根本问题——模型实际学到了什么样的表示？这些表示与数据结构的关系是什么？它们能达到什么样的泛化水平？

Grokking现象——从记忆到泛化的突然转变——似乎是一扇进入这个谜团的窗口。初期的探索确实困难重重。2024年的工作COGS (NeurIPS’25)只能分析特殊情况，这让他并不完全满意。经过超过一年的反复思考和与GPT的多轮对话，最近的工作《Provable Scaling Laws》标志着一个重大突破：它能够分析线性NTK框架所无法触及的现象，并相当好地解释了特征涌现背后的训练动态。虽然例子仍然具有特殊性，但至少打开了一扇新窗。

年度最后的工作《The path not taken》是他特别满意的——它在权重层面给出了初步答案，说明为什么强化学习和有监督微调（SFT）的行为差异如此巨大。

SFT导致过拟合和灾难性遗忘，表面原因是训练数据缺乏on-policy特性，深层原因是外部数据使主要权重分量发生剧烈改变，破坏了"基础"稳定性。而强化学习通过使用on-policy数据，保持主要权重分量不变，只修改次要分量，避免了灾难性遗忘——而且这些改变的权重更加分散（特别是在bf16量化下）。

为什么可解释性值得信仰

许多人认为可解释性——即"AI为什么这么有效"这个问题——不够重要。但对Tian Yuandong来说，这是关乎未来的核心问题。

考虑两种未来情景：

情景一：如果单纯通过Scaling就实现了AGI甚至ASI，那么全人类的劳动价值趋近于零。此时，AI作为一个巨大的黑箱解决所有问题。那么最紧迫的问题是：**如何确保这个超级智能体始终向善，不会隐蔽地欺骗或作恶？**答案离不开可解释性研究。

情景二：如果Scaling之路最终陷入瓶颈，人类无法满足指数级增长的资源需求，那么我们必须另辟蹊径。此时，**理解"模型为什么有效，什么会让它失效"**就成了必需。而可解释性研究正是这条备选之路的基石。

无论哪种情景，可解释性都是解局的关键。即使AI是个全知全能的善的存在，人类的天性也会驱使我们去探究它为何能做到这一点。毕竟，"黑箱"本身就会滋生怀疑的链条。

在大模型技术已经达到甚至超越人类平均水平的时代，《三体》中的"黑暗森林"法则可能以另一种形式展现。当下，打开已训练模型的黑箱、找到其内部电路仍然是初步的任务。

可解释性研究真正的难度在于：从第一性原理出发——即从模型架构、梯度下降和数据的内在结构——解释为什么模型收敛到那些解耦的、稀疏的、低秩的、模块化的、可组合的特征。为什么存在如此多的等价解释？什么样的超参数会引发这些结构的涌现？它们之间如何相互关联？

当我们能够直接从梯度下降的方程推导出大模型中特征涌现的必然性时，可解释性就从生物学意义上的"证据收集"升华为物理学意义上的"原理演绎"，从而指导实践、开启下一代AI设计的新路径。

用四百年前的物理学做类比：那时我们有许多第谷·布拉赫（AI领域的数据收集者）、一些开普勒（假说提出者），但还没有牛顿（原理发现者）。当那一刻到来时，世界的面貌将面目全非。