openclaw)驱动评委 Model,让它自己打开、渲染或执行被测 agent 留下的交付物,逐条按评分标准判定,再把判定写进 judgment 文件。本页说明所有 Agentic 评委 Benchmark 通用的参数和行为;每个 Benchmark 的证据包、评分标准和默认值见 GDPval-AC 和 AA-Briefcase-Lite-AC。
如果评委只需阅读文本答案,请使用成本低得多的 LLM 评委。
工作方式
- 准备评测 Environment。 推理结束后,Benchmark 在评测 Environment 中判分,评测 Environment 可以是新开的
freshEnvironment,也可以直接沿用任务 Environment(reuse)。Benchmark 把交付物、参考文件和评分标准放进评委的工作目录。 - 按窗口切分评分标准。 一个任务的评分标准按
judge_agent_rubric_window切成若干窗口,每个窗口交给一次评委运行。 - 并发运行评委。 同一任务内最多
judge_agent_concurrency次评委运行同时进行。每次运行把判定写进各自的 judgment 文件,Benchmark 再解析它。 - 重判未判定的条目。 评委运行失败、超时或写出无效判定时,只影响它覆盖的条目。第一轮结束后,所有未判定的条目重新分窗口,在全新的评委会话中重判,最多
judge_agent_max_retries轮。 - 汇总。 重判后仍有未判定条目的任务记为评测失败(
judge_failed),不会按 0 分计入。交付物缺失则是正常结果:评委会把依赖它的条目判为不通过。
涉及的 Model
一次 Agentic 评委判分最多涉及三个 Model:judge_model 与 LLM 评委使用的是同一个参数,只是作用不同:LLM 评委直接调用这个 Model,Agentic 评委则让它作为 agent 运行在 judge_harness 上。judge_model 或 judge_agent_media.model 中省略的连接字段会回退到被测 Model,因此请把两者都配置完整,让判分与被测运行相互独立。
judge_model.params 的生效方式
Agentic 评委不通过公共 LLM 客户端发送请求,因此 LLM 评委中 timeout、max_retries 和输出上限的默认值不适用于评委 Harness。judge_model.params 会用在三个地方:
运行前预检只沿用
judge_model.params 中的 extra_headers 和 extra_query,时限为 60 秒,不重试。
要限制评委的时长,请设置单次评委运行的 judge_agent_timeout_seconds,见时限与预算。
参数
所有参数都通过--benchmark-params 传入。下表为通用默认值;Benchmark 可以修改默认值,以对应 Benchmark 页面为准。
各 Benchmark 修改过的默认值:
judge_concurrency 对 Agentic 评委不生效,并发由 judge_agent_concurrency 控制。
评委 Harness 参数
AgentCompass 按以下顺序为评委 Harness 组装参数,后面的覆盖前面的:-
从评委 Harness 的默认值开始。目前只有
openclaw有默认值: -
judge_harness与推理用的 Harness 相同时,应用推理的--harness-params,这样评委能用同样的方式定位或安装 Harness。 -
评委检查图片时开启看图能力:
openclaw的model_input、stirrup的view_image。 -
把
judge_agent_max_turns写入 Harness 的轮数上限参数(max_turns或max_iterations)。 -
打开 Harness 的免审批开关(如
dangerously_skip_permissions),评委无人值守运行。 -
最后按参数应用
judge_harness_params:{"max_output_tokens": 64000}只修改max_output_tokens,其余默认值保留。同一参数的任一可接受名称都会覆盖它,因此旧名{"max_tokens": 64000}效果相同。要关闭某个默认值,请显式设置它,例如镜像已有 Node.js 时设为{"setup_capsule_tag": ""}。这些参数不能与第 3 步的看图参数矛盾,例如给stirrup设{"view_image": false}会报错。
fresh 评测 Environment 从镜像启动,没有推理阶段安装的任何东西。因此评委参数中没有显式设置 install_strategy 时,preinstalled 会自动改为 install_if_missing,在评测 Environment 中重新安装评委 Harness。openclaw 通过 npm 安装,需要 Node.js,默认的 setup_capsule_tag 会提供它,详见 OpenClaw。
模态与评委 Model
评委检查哪些模态由各 Benchmark 在接入时确定,没有参数可以修改。AA-Briefcase-Lite-AC 和 GDPval-AC 检查全部四种模态:
文本和图片经评委 Harness 交给评委 Model,因此
judge_harness 必须是能传图片的 Harness:openclaw、stirrup、codex 或 claude_code。runner 会在推理开始前的 preflight 中检查这一点,并检查 judge_harness_params 没有与图片参数矛盾。Harness 无法把音频和视频交给 Model,它们要经过 media-inspect,因此必须配置 judge_agent_media:默认值 {} 使用评委 Model,设为 null 会报配置错误。
评委 Model 必须能接收图片。media-inspect 使用的 Model 必须能通过 openai-chat 协议接收音频,也要能接收图片,因为它拒收的视频片段会改用抽帧重发:
运行前预检
Agentic 评委运行一次耗时很长,因此推理开始前,AgentCompass 会从运行它的机器探测评委 Model,这是模态预检的一部分:- 向
judge_model发送一条文本请求,检查端点、密钥和 Model ID,再发送一张纯红色小图,要求它回答颜色。 - 向
media-inspect使用的 Model(judge_agent_media.model,未设置时为评委 Model)发送一条文本请求和一段短提示音(要求使用openai-chat协议);由于视频可能改用抽帧发送,还会发送这张红色小图。
judge_model 的运行不探测评委。
media-inspect
Benchmark 的评委检查audio 或 video 时,AgentCompass 会在评测 Environment 中安装一个 media-inspect 命令,并在评委 prompt 中说明它的用法。评委用它截取一段音视频,交给多模态 Model 回答具体问题。
media-inspect 需要评测 Environment 中有 python3;有 ffmpeg 和 ffprobe 时才能按时间段截取片段,没有时只能整段检查不超过 max_request_mb 的文件。media-inspect 无法安装时(例如评测 Environment 中没有 python3),该任务的判分失败。
时限与预算
- 整个判分阶段受
evaluation_timeout_seconds限制,包括所有窗口和所有重判轮次。 - 每次评委运行的时限取
judge_agent_timeout_seconds与剩余评测预算中的较小值;未设置judge_agent_timeout_seconds时,直接使用剩余预算。 - 评委会在评测预算耗尽前(提前 120 秒,或预算的 10%,取较小值)停止,因此超时会记为判分失败,而不是被 runtime 直接取消。
- 评测阶段最多同时运行
task_concurrency × judge_agent_concurrency个评委 agent。评委端点超时或限流时,先调低judge_agent_concurrency。
网络
评委 Harness 和media-inspect 都在评测 Environment 内运行,因此评委端点、media-inspect 的 Model 端点,以及安装评委 Harness 需要的软件源(如 npm),都必须在 evaluation_network_policy 下可访问,见网络策略。运行前预检从宿主机发出,因此评委和 media-inspect 的 Model 端点也必须能从运行 AgentCompass 的机器访问。
调整调度
排查
是否保存评委 agent 的对话记录由各 Benchmark 决定。每个 Benchmark 保存哪些判定依据,见对应 Benchmark 页面的「评测结果」一节。
