奖励的难题：GRPO 训练为何崩溃以及它对 AI 的未来意味着什么
解开训练中期奖励下降之谜
您是否曾见过强化学习模型的奖励曲线稳步上升，但在训练过程中却意外骤降？这种现象在使用 GRPO（一种为训练大型模型而设计的变体）时变得越来越普遍，它引发了关于我们当前强化学习方法中潜在权衡的根本问题。
强化学习稳定性的架构基础
许多强化学习算法的核心是 Actor-Critic 框架。虽然传统文献通常将其呈现为“actor-critic”，但一些专家更喜欢用“知识与行动的互动”这个术语来捕捉其本质。在这种架构中，评论者（或“知识”）组件评估和指导行动者（或“行动”），确保即使系统在动态环境中导航，策略梯度也能保持稳定。
与监督学习（数据是静态且明确定义的）不同，强化学习必须应对非平稳环境和来自稀疏奖励信号的有限反馈。加入一个评论者组件，利用状态价值或行动价值函数（甚至更高级的技术，如带基线的优势函数），可以减少梯度计算中的方差。这反过来又降低了算法在训练过程中偏离方向的风险。
GRPO 的设计：牺牲稳定性以换取规模
GRPO 的设计有意省略了评论者网络。主要原因是直接的：当训练跨越数千亿参数的模型时，维护大型行动者和单独的评论者网络的内存需求变得令人望而却步。相反，GRPO 选择在线估算优势函数，本质上是用计算稳定性来换取减少的存储需求。
这种设计权衡带来了重大后果。考虑一下被广泛采用的 PPO 算法，它通常使用与策略模型大小相当的价值网络。虽然这种设置带来了沉重的内存和计算负担，但它从根本上稳定了训练。另一方面，GRPO 更容易出现波动——尤其是在批量大小较小时——导致训练期间奖励突然下降。对于学术研究团队和使用中等规模模型（数百万到数千万个参数的数量级）的团队来说，方差增加可能是一个关键缺陷。
GRPO 何时失灵：来自实践训练的经验
跨各种模型大小的训练观察结果使这些权衡成为焦点。较小的模型——无论是 1B 还是某些 7B 和 8B 配置（如 LLAMA）——通常在 GRPO 训练期间难以处理稀疏奖励信号。在这些情况下，单个训练批次可能无法提供足够的奖励信号来维持策略梯度的稳定性，从而导致不稳定的性能。相比之下，32B 到 38B 范围内的较大模型由于更密集的奖励反馈而显示出更高的稳定性，而超过 100B 的模型往往更容易避免这些问题。
在实践中，许多团队已经倾向于对较小的模型使用 PPO，因为其固有的稳定性超过了其计算成本。有些人甚至采用了模型蒸馏等技术来丰富奖励密度，从而相对于有监督的微调加速了训练过程。这些见解指向了一幅细致的图景：当数据丰富时，GRPO 可能是可行的，但在资源限制更严格的情况下，它会遇到困难。
超越 GRPO：AI 训练中的范式转变
GRPO 面临的挑战不是孤立的技术怪癖，而是反映了关于强化学习未来的更深层次的问题。该领域有影响力的人物——例如经常被称为强化学习之父的 Richard Sutton——长期以来一直强调深度学习方法中固有的可塑性问题。最近的见解证实，传统的 RL 方法最终可能会被更强大的替代方法所取代。
一个值得注意的例子是 Anthropic 在 2025 年 3 月 27 日发布的报告，标题为《追踪大型语言模型的思想》。该研究为共享抽象空间（一种潜在空间）提供了证据，大型模型可以利用该空间在不同的环境中灵活地应用学到的知识。这一发现加强了这样一种观念，即仅仅基于强化学习的训练范式可能正在达到其应用极限。在许多方面，RL 实现了其过渡目的，为半监督学习等方法铺平了道路，这些方法有望实现更大的稳定性和长期的商业可行性。
拥抱半监督和无监督学习
一个有希望的前进方向是半监督学习，它融合了监督和无监督技术的元素，以形成强大的模型，这些模型可以从较少明确标记的数据中学习。主要优势包括：
- 改进的稳定性和可扩展性： 通过利用大量未标记的数据，半监督方法可以捕获更丰富的模式和关系，而不会过度依赖稀疏的奖励信号。
- 跨环境的泛化： 与为定义环境中的非常特定的交互而调整的 RL 不同，半监督学习鼓励开发能够更有效地泛化的模型。这一点尤为重要，因为 AI 系统越来越需要在不同的领域中运行。
多模态学习和共享抽象空间的力量
Anthropic 的研究强调了一个共享抽象空间的存在——一个潜在的领域，不同形式的数据汇聚成一个统一的表示。这项突破对 AI 的未来有几个影响：
- 跨上下文的知识应用： 能够访问和操纵共享潜在空间的模型可以灵活地应用在一个上下文中学习的知识来解决另一个上下文中的问题。这种能力对于开发既适应性强又高效的 AI 系统至关重要。
- 增强的多模态能力： 将文本、图像、音频和其他感官数据集成到一个公共潜在框架中可能会导致在需要理解超出单一模态的任务中取得突破。预计这种协同作用将支撑下一代 AI 应用，范围从自主系统到创意内容生成。
超越传统框架：整合和混合方法
AI 研究的未来可能以混合方法为特征，这些方法利用各种训练范式的最佳方面：
- 元学习和迁移学习： 通过教导模型如何从一项任务学习和适应另一项任务，元学习实现了一种静态 RL 框架无法比拟的通用性。这种方法与迁移学习相结合，可以显著减少对大量特定于任务的数据的需求。
- 神经符号集成： 将符号推理与深度学习相结合有望创建不仅高效而且可解释的系统。神经符号方法提供了整合高级概念和抽象推理的途径——这一发展直接补充了从潜在空间研究中获得的见解。
- 自适应自监督： 未来的算法可能会越来越依赖自监督学习技术，这些技术允许模型通过识别数据中的模式和结构来生成自己的学习信号。预计这种自适应方法将绕过 RL 中固定奖励结构施加的许多限制。
过渡中的未来
AI 训练方法的演变正在远离传统强化学习的脆弱稳定性。随着行业面临越来越大的压力，需要在资源约束与模型性能之间取得平衡，创新很可能取决于混合方法，这些方法协调数据丰富性、多模态输入以及对任务的共享抽象理解。在这种新兴范式中，GRPO 中看到的权衡——计算效率破坏了稳定性——是一个重要的学习点。
总之，GRPO 的设计选择说明了内存约束和训练稳定性之间复杂的平衡。对于那些开发较小规模模型或在有限数据条件下运行的开发人员来说，具有集成评论者组件的算法（例如 PPO）仍然是更可靠的选择。与此同时，随着 AI 进一步进入多模态和半监督领域，该行业已准备好在模型学习和适应方式上发生变革性转变。