跳转到主要内容
LLM 评委把题目、标准答案和被测答案(或评分标准)渲染成 prompt,请评委 Model 给出判定,再由 Benchmark 解析判定、计算分数。本页说明所有 LLM 评委 Benchmark 通用的配置;每个 Benchmark 的 prompt、判定规则和推荐评委见对应的 Benchmark 页面。

工作方式

  1. 被测 Model 在 Harness 中完成推理,产出最终答案。
  2. 评测阶段,Benchmark 把题目、标准答案和被测答案填进自己的评委 prompt。
  3. AgentCompass 进程用 judge_model 的配置请求评委 Model。部分 Benchmark 每题只请求一次,按评分标准评分的 Benchmark 会为每条评分标准各请求一次。
  4. Benchmark 解析评委的回复,得出 correct 或分数;无法解析时,该次尝试记为评测失败。
评委只读取文本,不会打开任务 Environment 中的文件。需要评委检查文件、渲染页面或播放媒体的 Benchmark,请使用 Agentic 评委。

配置 judge_model

judge_model 是一个字典,放在 --benchmark-params 中:
  • 字段值整体写成 ${VAR} 时,AgentCompass 会读取同名环境变量,这样可以避免把密钥写进命令或配置文件。值只有一部分是 ${VAR} 时不会替换。AgentCompass 读取的是自身进程的环境变量,因此要先用 export 导出;未设置的变量会变成空字符串。
  • 连接字段回退到被测 Model 只是为了方便试跑。正式评测请写全连接字段,见选择评委 Model。
  • 不要把评委凭证放进 --model-params,该选项只作用于被测 Model。

时限与重试

judge_model.params 中有两个键不会作为推理参数发送给 Model,而是交给 API 客户端: extra_headers、extra_query 和 extra_body 是 OpenAI 与 Anthropic SDK 的请求选项,SDK 会把它们分别加到 HTTP 请求头、查询字符串和请求体顶层。params 中的其他键(如 temperature、max_tokens)作为请求字段原样发送。 智能体评委使用 judge_model.params 的方式不同,本页的默认值不适用于它的评委 Harness。

默认 max_tokens

没有设置输出上限的评委请求会得到 max_tokens 32768,避免推理型评委在写出判定前用完输出额度。这个默认值最后才补上,不会覆盖已经设置的值:
  1. judge_model.params 优先。
  2. 其次是 Benchmark 自己设置的上限,例如 WideSearch 使用 65536。
  3. 都没有设置时使用 32768。
max_tokens、max_completion_tokens、max_output_tokens 都算作上限,设置其中任何一个都不会再补第二个。使用 openai-responses 时,max_tokens 以 max_output_tokens 发送。要不设上限,请设置 "max_tokens": null(Anthropic Messages API 仍要求上限)。AgentCompass 不设置默认的 temperature 等采样参数,因为各官方协议不同,且推理型 Model 会拒绝非默认值。 PinchBench 的评分运行器和 Agentic 评委的 media-inspect 工具使用同样的默认值。TauBench 通过上游客户端评分,保留它自己的默认值。评委接口的输出上限低于 32768 token 并拒绝请求时,请在 judge_model.params 中设置更小的 max_tokens。 这两项只限制单次评委请求,不受 timeout_multiplier 等执行倍率影响。整个评测阶段另由 evaluation_timeout_seconds 限制,见超时设置。少数 Benchmark 使用自己的评分运行器,默认值不同,例如 PinchBench 默认 360 秒。

并发:judge_concurrency

judge_concurrency 限制评测单个任务时同时进行的评委请求数,默认 1。每题会请求很多次评委的 Benchmark 会调高默认值,例如 DeepResearch Bench 和 ResearchRubrics 默认 8,ScienceAgentBench 默认 3。 不同任务之间的并行由 --task-concurrency 控制,因此评委端点同时收到的请求最多为 task_concurrency × judge_concurrency。评委端点出现限流(HTTP 429)或排队超时时,先调低其中之一。 judge_concurrency 只约束 AgentCompass 进程发出的评委请求。评委由任务 Environment 中的评分脚本调用时(如 PinchBench、SWE Atlas),并发由该 Benchmark 自己决定。

判定协议

Benchmark 可以使用自己的评委 prompt 和解析规则,也可以使用 AgentCompass 内置的 A/B/C 协议。BrowseComp、BrowseComp-ZH、GAIA、HLE 和 SGI Deep Research 使用内置协议: 内置协议只比较最终答案,忽略推理过程和格式差异。评委回复中找不到 A/B/C 判定时,该次尝试记为评测失败,不会算作答错。其他 Benchmark 的判定格式(JSON、分数、逐条评分标准等)见对应页面。

网络

AgentCompass 进程发出的评委请求不受 sandbox 网络策略约束,只要运行 AgentCompass 的主机能访问评委端点即可。评委由任务或评测 Environment 内的进程调用时,评委端点必须在 evaluation_network_policy 下可访问,见网络策略。 推理开始前,AgentCompass 会从主机向配置的评委 Model 发送一条文本请求。请求被拒绝或主机访问不到端点时,运行直接终止,见模态预检。

运行示例

下面的命令用 BrowseComp 评测一条任务,评委连接信息从环境变量读取,并把单次评委请求的时限设为 600 秒。运行前请设置被测 Model 的 MODEL_NAME、MODEL_BASE_URL、MODEL_API_KEY,评委 Model 的 JUDGE_MODEL_NAME、JUDGE_MODEL_BASE_URL、JUDGE_MODEL_API_KEY,以及检索工具的 SERPER_API_KEY、JINA_API_KEY。

排查

评委失败的分级与重试见错误处理。