核心思想：闭环
我在做 Agent 评测时反复体会到一件事——评测系统能精确刻画「模型哪里不行」，但它本身改变不了模型。要真正提升能力，必须把评测的信号回流到训练里。这个闭环正是很多前沿团队正在做的方向：
Agent 评测
可验证奖励 / rubric
→
Agentic RL 训练
多轮 GRPO
→
能力提升的 Agent
↺
再评测
评测发现缺口 → 训练修复缺口 → 再评测验证，持续迭代。
它和单轮 RL（如密码大模型的 GRPO）有什么不同
密码大模型的 GRPO 是单轮：模型出一个答案、判分、更新。Agentic RL 是多轮：模型要「思考 → 调工具 → 读环境返回 → 再决策」走很多步，奖励只在整条轨迹结束时才知道（任务成没成）。这带来一组全新的难点。
- 多轮 agentic rollout：实现「思考 → 调用工具 → 读取环境返回 → 再决策」的多轮采集与训练。
- turn-level 信用分配：整条轨迹只有一个稀疏奖励，要合理分配到每一步。
- token 级 loss mask：只在 Agent 自己生成的 token 上计 loss，环境返回的 token 不算。
- 长轨迹稳定性：长程 + 稀疏奖励下训练易崩，需要处理显存与方差问题。
可验证奖励：与评测经验的连接点
- 把评测里的 rubric 加权通过率 / 执行验证（文件是否产出、结果是否正确）设计为 RL 的可验证奖励，reward 信号干净、防 reward hacking。
- 同一套「可验证奖励」既用于评测判分、又用于 RL 训练——这正是评测与训练闭环的连接点。
沉默组 ↔ 出题区分度：GRPO 中若一组轨迹全成功或全失败，优势为 0、对训练零贡献（沉默组）。这与我在评测出题时「滤掉过易 / 过难题、只留能拉开分差的题」是同一个原理——只有中等难度的样本才给得出有效学习信号。
实现路径：先跑通，再扩展
① 在 ALFWorld 上跑通完整机制
- 选择 ALFWorld（学术界公认的多轮 agent 标杆环境，纯文本、多轮、奖励明确）作为验证载体，基于 verl 跑通多轮 Agent 的 GRPO 训练，把上面那组难点（多轮 rollout、信用分配、loss mask、长轨迹稳定性）真正吃透。
② long-horizon 稳定性探索
- 对比 GRPO（组内相对优势，无 value 网络） 与 PPO（带 value 基线） 在长轨迹上的稳定性差异——呼应业界 long-horizon agentic RL 从 GRPO 回归 PPO 的观察。
③ 向真实任务迁移（设计）
- 设计将真实工具调用办公 / 代码 Agent 任务（多轮、rubric 判分）接入训练回路的方案——环境沙箱化、rubric → reward 映射、稠密 / 稀疏奖励拆解，作为从「玩具环境跑通」到「真实业务任务」的扩展路径。
诚实边界：ALFWorld 上的 agentic RL 是真实跑通并验证的；向真实办公 / 代码任务的迁移目前是设计方案，尚未在其上完成训练。
verlGRPOALFWorld多轮 rollout可验证奖励 / RLVRPPO 对比
← 返回全部项目