运行 Service Benchmark

运行由 harness 将 agent loop 委托给外部 service 的评测。

有些评测会把 agent loop 委托给外部 service。在当前运行时中，这是一个 harness 级别的模式：terminus2 harness 可以通过 endpoint 参数连接远程 agent service，而 AgentCompass 仍然负责任务准备、结果归一化、summary 和 analysis。

​

前置条件

• 外部 agent service 已启动并可访问。
• Harness 支持 service endpoint。对于 terminus2，可通过 --harness-params 传入，或在配置中设置 harnesses.terminus2.endpoint。
• 已导出模型 endpoint 环境变量。

​

命令模式

agentcompass run \
  terminal_bench_2 \
  terminus2 \
  your-model \
  --env <env-provider> \
  --harness-params '{"endpoint":"http://127.0.0.1:8000"}' \
  --benchmark-params '{"sample_ids":["<task-id>"]}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY"

endpoint 也可以在 config/defaults.yaml 的 harnesses.terminus2.endpoint 下统一设置；service_url 和 url 是可用别名。

​

需要确认

检查	原因
Service health	避免把 service failure 误判为模型 failure。
Timeout settings	Service benchmark 可能比本地 dataset 更慢。
Task ids	使用 sample_ids 做可复现调试。
Result schema	确认 service response 能映射到 details/*.json。

​

相关页面

• Runtime
• Results
• Post-analysis