Terminal-Bench 2 Verified

Terminal-Bench 2 Verified 是托管在 Hugging Face 的 Terminal-Bench 2 已验证子集。它与 Terminal-Bench 2 使用相同的任务执行与验证器流程，通常搭配 terminus2。

​

工作原理

1. 加载任务。 AgentCompass 克隆 Hugging Face 数据集，并在加载任务目录前拉取其中的 Git LFS 对象。
2. 运行 agent。 Recipe 准备每个任务的容器镜像和工作区，随后终端 Harness 处理任务指令。
3. 验证结果。 Harbor 验证器运行 tests/test.sh；奖励为 1 时记录为 correct。

加载数据集的进程必须安装 git-lfs，否则无法取得已验证任务集的 LFS 资源。

​

参数

可通过 --benchmark-params '{...}' 配置 Terminal-Bench 专属参数。

参数	类型	默认值	说明
verifier_timeout_multiplier	浮点数	1.0	验证器超时倍率。
execute_timeout_multiplier	浮点数	1.0	单个任务的 agent 执行超时倍率。

​

运行示例

运行配置分两段 JSON：--benchmark-params 传 Terminal-Bench 的 Benchmark 层配置（上文的超时倍率及按需指定的任务筛选），--harness-params 传所选 Harness 自身配置。下方默认示例使用 terminus2，常用项为 max_turns 和 timeout。两段都可改写进 --config 的 benchmark.params / harness.params 块；同名项以命令行为准。

​

推荐 Harness

推荐使用终端 agent terminus2。

冒烟测试（单条跑通）

验证端到端能否跑通——sample_ids 指定跑哪个场景，其余参数走默认。

agentcompass run \
  terminal_bench_2_verified \
  terminus2 \
  "$MODEL_NAME" \
  --env docker \
  --benchmark-params '{"sample_ids":["<task-id>"]}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY"

自定义参数

为 model 响应较慢的运行环境提高超时倍率。

agentcompass run \
  terminal_bench_2_verified \
  terminus2 \
  "$MODEL_NAME" \
  --env docker \
  --benchmark-params '{
    "verifier_timeout_multiplier": 8,
    "execute_timeout_multiplier": 16
  }' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY"

AgentCompass 推荐配置

AgentCompass 推荐配置进行完整评测。model 服务状况、部署实例数、任务并发数或 model 能力等导致任务耗时增加时，可通过 --benchmark-params 设置 verifier_timeout_multiplier 和 execute_timeout_multiplier。

agentcompass run \
  terminal_bench_2_verified \
  terminus2 \
  "$MODEL_NAME" \
  --env docker \
  --task-concurrency 16 \
  --harness-params '{"max_turns":300,"timeout":14400}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY"

​

其他可选 Harness

codex 和 claude_code 是其他两个可选 Harness。运行时传入 --recipe terminalbench2_verified_docker_ac 可使用 AgentCompass 的专用镜像。它额外提供了 Node.js、npm、curl、wget 等下载依赖，方便运行 Codex、Claude Code 等需要这些依赖的 Harness。

使用官方镜像运行

不传 --recipe 即使用官方任务镜像。它不包含节点环境引导依赖，因此需显式传入对应安装命令。

# Codex
agentcompass run terminal_bench_2_verified codex "$MODEL_NAME" \
  --env docker \
  --task-concurrency 16 \
  --harness-params '{"install_command":"apt-get update && apt-get install -y curl ca-certificates && curl -fsSL https://deb.nodesource.com/setup_20.x | bash - && apt-get install -y nodejs && npm install -g @openai/codex"}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY" \
  --model-api-protocol openai-responses

# Claude Code
agentcompass run terminal_bench_2_verified claude_code "$MODEL_NAME" \
  --env docker \
  --task-concurrency 16 \
  --harness-params '{"install_command":"apt-get update && apt-get install -y curl ca-certificates && curl -fsSL https://deb.nodesource.com/setup_20.x | bash - && apt-get install -y nodejs && npm install -g @anthropic-ai/claude-code"}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY" \
  --model-api-protocol anthropic

AgentCompass 推荐配置

传入 --recipe terminalbench2_verified_docker_ac 即可指定 AgentCompass 的专用镜像，无需显式传入对应安装命令。

# Codex
agentcompass run terminal_bench_2_verified codex "$MODEL_NAME" \
  --env docker \
  --recipe terminalbench2_verified_docker_ac \
  --task-concurrency 16 \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY" \
  --model-api-protocol openai-responses

# Claude Code
agentcompass run terminal_bench_2_verified claude_code "$MODEL_NAME" \
  --env docker \
  --recipe terminalbench2_verified_docker_ac \
  --task-concurrency 16 \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY" \
  --model-api-protocol anthropic

​

输出

一次运行在 results/terminal_bench_2_verified/<model>/<run>/ 下产出两类结果：summary.md 中的聚合指标，以及 details/ 下的单任务 JSON 记录。

​

聚合指标（summary.md）

summary.md 包含运行概况（Model、Total、Evaluated、Error）和主指标 accuracy。accuracy 是验证器返回满额奖励（1）的已评测任务占比，即 Terminal-Bench 的任务通过率。

​

单任务详情（details/）

每个任务 JSON 记录 correct、执行状态、尝试记录、agent 轨迹与 Harness 指标，以及用于判定结果的原始验证器输出。参见结果。