Agent 评测基础设施

为什么需要 Agent 评测基础设施

大模型 Agent（会调用工具、多轮决策、在环境中执行）无法用传统的静态问答基准来衡量。要可靠地评测它们，需要一整套基础设施：把 Agent 放进隔离环境里真实跑题、收集轨迹与产物、用可复现的方式判分，并保证题目本身「可解、有区分度、判分可信」。

一、评测执行与判分引擎

• 容器化执行引擎：基于 Docker 封装隔离沙箱，支持原生 CLI Agent 在隔离容器中跑题、收集产物、回放轨迹；处理镜像依赖注入、多架构二进制兼容等工程问题，使任意题目环境免预装即可运行。
• Agent-as-Judge 判分：将「判题」建模为一次自包含的 Agent 运行，实现 rubric 多维加权打分 + 通过阈值判定；针对裁判自由文本输出自研多级 JSON 提取 + 失败重试，保证判分结果稳定可解析。
• Benchmark 数据标准与跑题产线：落地统一题目标准，自动发现题目树并跑「解题 → 评分」；支持单轮 pipeline 与多轮 interleaved（共享容器逐步做题、逐 step 判分、早停、多种聚合方式）。
• 流式并发编排：基于 Python asyncio / 线程池自研 Pipeline + Stage 框架（case 级回调推进、退避重试、跨线程池日志串联），支撑评测集大规模异步并发跑批。

二、平台级黑盒 CLI Agent 评测服务

• 双容器防作弊评测：将评测建模为 solve 容器（跑题）→ 归档产物 → 全新 judge 容器（还原产物并判分）两段隔离流程，判题环境与解题环境物理分离，杜绝 Agent 触碰评测脚本 / 答案。
• 多 CLI Agent 适配层：抽象统一的 Agent 运行时，屏蔽多款闭源黑盒 CLI Agent 的协议差异，使它们能在同一评测平台上公平对比。
• 服务与轨迹采集：容器内服务暴露 shell / 文件 / 会话等 HTTP 能力，配合会话管理、产物上传与调用轨迹抓取，用于判分与复盘。

三、评测题目与 Rubric 自动化生产 + 可信校准

• 自动化出题 + 出 Rubric：基于 LLM / Agent 自动生成符合数据标准的评测题目（含指令、可构建运行环境、参考解），并为每道题自动生成判分 rubric、评分维度与判题脚本。
• 三重可信校准（核心）：用执行引擎反向验证自产题目——① 可解性（强模型 + 参考解跑通，滤除无解题）② 区分度（弱模型跑不过，滤除过易题）③ rubric 稳定性（多次判分一致性，用 Cohen's kappa / bootstrap 量化可信度），并做难度与答案泄漏筛查。
• 链路闭环：将校准通过的题目注册入库，与执行引擎打通形成「出题 → 出 rubric → 校准 → 入库 → 跑题 → 判分」端到端评测流水线。