跳转到主要内容
当你已经确定 benchmark 和 harness,但还需要决定任务在哪里执行时,使用这个 cookbook。

选择表

Provider适用场景
host_process轻量、本地或 service-backed benchmark。
docker需要本地容器可复现。
modal需要 registry-image cloud sandbox 和云端计算。
daytona需要远程开发式 sandbox。

Docker Smoke Test

agentcompass run \
  swebench_verified \
  mini_swe_agent \
  glm-5.2 \
  --env docker \
  --benchmark-params '{"sample_ids":["astropy__astropy-12907"]}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY" \
  --model-api-protocol openai-chat \
  --task-concurrency 1

远程 Smoke Test

export DAYTONA_API_KEY="..."

agentcompass run \
  terminal_bench_2 \
  terminus2 \
  your-model \
  --env daytona \
  --benchmark-params '{"sample_ids":["overfull-hbox"]}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY"

Image 与 Workspace

对于 recipe-backed benchmark,image 和 workspace 通常由任务元数据推导。Custom task 可以传 --env-params
agentcompass run <benchmark> <harness> <model> --env docker --env-params '{"image":"python:3.13-slim","workspace":"/workspace"}'

相关页面