大模型强化学习DPO

DPO（直接偏好优化）和PPO（近端策略优化）的核心区别在于：DPO通过数学变换将奖励模型与策略模型合并，直接利用人类偏好数据优化模型，省去了独立的奖励模型训练环节，从而大幅降低计算成本并提升训练稳定性；而PPO则依赖“策略模型+奖励模型+价值模型”的三阶段架构，通过强化学习迭代微调，虽然理论上限高但工程复杂度……