TPPO：面向语言模型推理的追踪价值 PPO 论文

论文提出 Tracking-Value PPO（TPPO），通过分析相邻前缀价值的关系，证明其在对数几率空间具有贝叶斯分解的加性更新结构，并据此构造把逐位置标量输出累加为价值 logits 的累计价值参数化，这些输出由终端结果监督在重建价值上学习。