GRPO vs. DAPO vs. GSPO
小天狼星不来客：从 RL for LLM 视角重新理解 KL 估计：读《Approximating KL Divergence》笔记 小天狼星不来客：大语言模型 RLHF 全链路揭秘：从策略梯度、PPO、GAE 到 DPO 的实战指南 小天狼星不来客：DeepSeek-R1 技术剖析：没有强化学习基础也能看懂的 PPO & GRPO 在大语言模型的强化学习阶段，PPO 曾经是主流方案，但其对 value model 的依赖在长文本和复杂任务中暴露出局限。GRPO 通过摆脱 value model，显著提升了可扩展性，但在效率和稳定性上仍有改进空间，于是有了 DAPO 对采样、clip、梯度计算等细节的精细优化。然而，在专家动态激活的 MoE 架构中，GRPO 框架下的 token-level 优化依旧难以稳定收敛，GSPO 则进一步将优化粒度提升到 sequence-level，从根本上缓解了高方差与结构性噪声的问题。本文将沿着这一演进路径，从 GRPO 出发，逐步讲清 DAPO 与 GSPO 背后的设计动机与实现思路。 在下文中，你将了解到： 为什么 GRPO 能够...
Fundamentals of Policy Gradient Reinforcement Learning
本文面向掌握了基础的强化学习原理，而又想进一步从直观理解和基本数学原理相结合的角度理解REINFORCE、REINFORCE with baseline、A2C、TRPO、PPO、GRPO等主流基于策略的强化学习算法的读者。 0. 引言 在强化学习中，智能体的目标是通过与环境交互来最大化累积奖励。为此，我们通常将问题建模为马尔科夫决策过程（Markov Decision Process, MDP），定义状态、动作、奖励、策略及折扣因子等基本元素。智能体根据策略选择动作，环境根据动作产生奖励并转移到下一个状态，这样的交互形成了一条条轨迹，而策略的优化目标就是让这些轨迹上的累积奖励尽可能高。 策略梯度方法（Policy Gradient, PG）是一类将策略参数化表示，并且直接对策略参数进行优化的强化学习算法。它不仅提供了直观的“沿着更好动作增加概率”的思路，也有严格的理论推导保证。本文将从最基础的 REINFORCE 方法出发，然后介绍REINFORCE with baseline、A2C等算法，这些算法都属于相对比较早一点的方法了，本文可能会将其都看成所谓的 Vanilla P...
多头注意力
多头注意力的核心思想是什么？使用多个头的好处有哪些？ 多头注意力的核心思想是：将输入投影到多个不同的“表示子空间”中，在每个子空间内独立进行缩放点积注意力计算，然后将各个子空间的输出拼接起来，再做一次线性投影，得到最终的输出。这样，模型可以同时从不同角度关注输入序列的不同部分和不同类型的依赖关系。 使用多个头的好处： 增强表达能力：单头注意力只能学习一种固定的查询-键匹配模式，而多头注意力允许模型共同关注来自不同位置的不同表示子空间的信息。例如，一个头可能关注局部语法结构，另一个头可能捕捉长距离的语义关系，还有一个头可能专门关注某个特定词或标点。 降低单个头学习的压力：每个头的维度通常较小，让模型通过多个低维注意力并行工作，比使用一个高维注意力更容易优化，且能学到更丰富的特征组合。 稳定训练：多个注意力头可以相互补充，即使某些头在初期未学到有效模式，其他头仍能提供有效信号，整体训练更鲁棒。 可解释性：不同的头可能学会分工，如有的头负责指代消解，有的头负责词性匹配，通过可视化可以分析模型内部的语言处理机制。 多头注意力的输出是如何合并的？头的数量与每个头的维度 ...